Non-linear question difficulty modeling in computer adaptive tests

Abstract

Öğrencinin yeteneğini tahmin etmek için tasarlanan Bilgisayar Uyarlamalı Test (CAT), öğrencinin kabiliyet düzeyine göre farklı zorluk derecesine sahip soruların bir araya getirildiği durumlarda seçilir. Bilgisayar Uyarlamalı Test, uygun soruları seçmek ve öğrencinin yeteneğini tahmin etmek için bir model olarak Öğe Yanıt Teorisi'ni (IRT) kullanmıştır. Öğrencinin Madde Tepki Teorisindeki kabiliyetini tahmin etmedeki problemleri hedefleyerek, Tesadüfî Hareket Teorisi (RWT) ve Saklı Markov Modeli (HMM) olmak üzere iki yöntem önermekteyiz. Tek boyutlu tesadüfi hareket modelleri ve saklı Markov modeli için simülasyon deneyleri yapıyoruz. Sonuç, tek boyutlu tesadüfi hareket modellerinin ve saklı Markov modelinin, Öğe Yanıt Teorisi modelinden daha az karmaşık ve daha iyi olduğunu göstermektedir.

Computer adaptive test (CAT) designed to estimate the ability of a student, where a collection of questions that has different level of difficulty are selected according to the level of student's ability. CAT used item response theory (IRT) as a model to select the proper questions and to estimate the ability of the student. Aiming at the problems in estimation of the ability of the student in IRT, we suggest two methods which are, random walk theory and hidden Markov model (HMM). We conduct a simulation experiments for one-dimensional random walk models and HMM model. The result shows that the one-dimensional random walk models and HMM model are less complex and better than IRT model.