Bireyselleştirilmiş bilgisayarlı test uygulamalarında farklı sonlandırma kurallarının ölçme kesinliği ve test uzunluğu açısından karşılaştırılması

Abstract

Son yıllarda bilgi teknolojilerinde yaşanan hızlı değişim ve dönüşümler, bireylerden talep edilen yetenek ve beceri türleri ile seviyelerini etkilemiştir. Bunun sonucu olarak eğitim sistemlerinde de bir takım değişikliklere gidilmiştir. Bu değişiklikler eğitimin önemli bir kısmını oluşturan değerlendirme sürecine de yansımıştır. Bu çerçevede, eğitimde kullanılan geleneksel testlerin yanında bireyselleştirilmiş bilgisayarlı test uygulamalarının kullanımı artmaktadır. Bireyselleştirilmiş testlerde geleneksel testlerden farklı olarak test algoritması söz konusudur. Test algoritması teste başlama, devam etme ve testi sonlandırma olmak üzere 3 bölümden oluşmaktadır. Bu çalışmanın amacı bireyselleştirilmiş bilgisayarlı test (BBT) uygulamalarında farklı sonlandırma kurallarının kullanılmasının ölçme kesinliğine ve test uzunluğuna etkisini incelemek ve birbirleri ile karşılaştırmaktır. Araştırma simülasyon çalışması olarak yürütülmüştür.1000 kişiye ait yetenek parametresi değerleri -3 ve +3 değerleri arasında değişecek ve tek biçimli dağılacak sekilde oluşturulmuştur. Madde havuzu için; Madde Tepki Kuramında yer alan 3 parametreli lojistik model kullanılarak madde parametre değerleri oluşturulmuştur. Madde havuzu oluşturulurken a parametresi [0,50;2,00]; b parametresi [-3,00;+3,00] ve c parametresi ise [0,05;0,20] aralığında belirlenmiştirAraştırma kapsamında sabit uzunluk, standart hata, standart hata-en az madde, theta yakınsama ve theta yakınsama-en az madde olmak üzere 5 farklı sonlandırma kuralı kullanılmıştır. Her bir sonlandırma kuralında farklı koşullar söz konusu olup toplam 12 koşul birbiriyle karşılaştırılmıştır. Ayrıca sonlandırma kurallarının karşılaştırılmasında BBT'de test algoritmasında önemli yere sahip olan farklı madde havuzu büyüklükleri (250 ve 500 madde), yetenek kestirim yöntemleri (Maksimum Likelihood Estimation ve Expected a Posteriori) ve başlama kuralları (b=0 ve -1<b<1) seçilmiştir. Her bir BBT uygulamasında ölçme kesinliği için RMSE, yanlılık ve uyum değerleri hesaplanmış ve test uzunlukları elde edilip, birbirleriyle karşılaştırılmıştır.Araştırmanın sonucunda, genel olarak 20 madde sabit uzunluk, 0,220 standart hata ve 0,02 theta yakınsama sonlandırma koşullarında RMSE, yanlılık değerlerinin düşük elde edildiği ancak uyum katsayılarının önemli oranda etkilenmediği belirlenmiştirAyrıca en az madde koşulunun eklenmesi ile bazı sonlandırma koşullarında ölçme kesinliği açısından daha iyi sonuçlar vermiştir. Ortalama test uzunluklarına bakıldığında RMSE değerleri ile ters yönde değiştiği bulunmuştur. Aynı sonlandırma koşullarında madde havuzu büyüklüğünün artması ile ölçme kesinliği için elde edilen RMSE ve yanlılık değerlerinin genel olarak daha düşük elde edildiği bulunmuştur. Teste başlama kurallarının etkisinin incelenmesinde ise çok önemli bir farklılık elde edilmemiştir. Yetenek kestirim yöntemi olarak Expected A Posteriori yönteminin kullanılmasının RMSE ve yanlılık değerlerinde düşmeye neden olduğu belirlenmiştir.Anahtar sözcükler: BBT, Sonlandırma Kuralları, Sabit Uzunluk Sonlandırma Kuralı, Değişen Uzunluk Sonlandırma Kuralı, RMSE, Yanlılık, Uyum, Test Uzunluğu

Fast changes and transformations observed in information technologies have been influencing the type and level of the skills and abilities demanded from individuals. As a result of this, there have been changes in the education systems as well. These changes are also pronounced in the educational evaluation processes that compose an important part of education. Within this framework, in addition to the classical test techniques, computer adaptive testing applications are increasingly preferred. In computer adaptive testing, there exists a test algorithm different than the classical tests. The test algorithm consists of three parts which are Starting, Resuming and Termination. The aim of this study is to measure the effect of different termination rules on measurement precision and test length. The research was implemented as a simulation study. Skill parametric values that take a value between +3 and -3 and that are uniformly distributed have been formed for 1000 people. For the item pool, item parameter values have been formed by using the 3 parameter logistic model of Item Response Theory. While forming the Item Pool, the intervals for the parameters are defined as such: a parameter [0.50;2.00]; b parameter [-3.00;+3.00] and c parameter [0.05;0.20]. 5 different termination rules have been used for the study which are: fixed length, standard error, standard error-least item, theta convergence and theta convergence-least item. Different conditions are in place in each termination rule and a total of 12 conditions are compared. Additionally, in comparing termination rules, different item pools (250 and 500), ability estimation methods (Maksimum Likelihood Estimation and Expected a Posteriori), starting rules (b=0 ve -1<b<1) have been selected since these are critical in the algorithms of Computer Adaptive Testing. RMSE, bias and fidelity values were calculated for the measurement precision and test lenghts were obtained and compared for each of the CAT implemantation.As a result, for the 20 item fixed length, 0,220 standard error and 0,02 theta convergence termination conditions RMSE and bias values are small but fidelity factors are not significantly affected. And with the addition of the least item factor, better results were achieved in some of the termination conditions in terms of measurement precision. The test length is observed to be negatively correlated with the RMSE values. In the same termination conditions, with the increases in item pool generally smaller RMSE and bias values were for measurement precision were achieved. Not a significant change was observed in the evaluation of the effect of the starting rules. The preference of Expected A Posteriori method for the ability estimation is observed to cause a drop in values for RMSE and bias values.Keywords: Computer Adaptive Testing, (CAT), Termination Rules, Fixed Length Termination Rule, Variable Length Termination Rule, RMSE, Bias, Fidelity, Test Length