The effect of item selection and parameter estimation methods to the accuracy of pretest item parameters on online calibration in CAT

Abstract

Bireyselleştirilmiş Bilgisayarlı Testler (BBT)'de maddelerin teşhir olmasından kaynaklı olarak madde havuzunun kalitesinin düşme riski vardır. Bunun için en iyi ve en avantajlı çözüm, online kalibrasyon prosedürünün uygulanmasıdır. Bu çalışmanın amacı online kalibrasyon bileşenlerinin parametre kesinliğine ve madde seçim yöntemi özelinde kümülatif örneklem büyüklüğüne etkisini incelemektir. Ayrıca çalışmanın diğer bir amacı da Ortak Maksimum Olabilirlik yönteminin parametre kestirim yöntemi olarak online kalibrasyon prosedürüne uygulamak ve uygunluğunun değerlendirilmesidir. Bir Parametreli Lojistik (1-PL) model ve İki Parametreli Lojistik (2-PL) model altında öntest madde seçim yöntemlerini (Maksimum Fisher Yöntemi, D-optimal Değer Deseni, Bayesyen D-optimal Deseni), parametre kestirim yöntemlerini (Ortak Maksimum Olabilirlik ve Marjinal Maksimum Olabilirlik ile Tek Beklenti Maksimizasyon Döngüsü), seçkisiz kalibrasyon aşaması örneklem büyüklüklerini (250, 500 ve 1000) ve her öntest maddesi için örneklem büyüklüklerini (250, 500 ve 1000) karşılaştırmak amacıyla simülasyon çalışması yapılmıştır. Bu faktörlerin parametre doğruluğu üzerindeki performansları yanlılık ve Hata Kareleri Ortalamalasının Karekökü (HKOK) hesaplanarak değerlendirilmiştir. Sonuçlar madde seçim yöntemlerinin performanslarının Madde Tepki Kuramı (MTK) modellerine ve parametre kestirim yöntemlerine göre farklılaştığını göstermektedir. Kalibrasyon yöntemleri arasında Ortak Maksimum Olabilirlik yöntemi bazı koşullarda daha iyi performans göstermesine rağmen Tek Beklenti Maksimizasyon Döngüsü madde parametrelerini en doğru şekilde başarıyla kestirmiştir. Seçkisiz aşama örneklem büyüklüğünün parametre kesinliği üzerinde karakteristik bir etkiye sahip olmaması elde edilen diğer bir sonuçtur. Son olarak parametre kesinliği kalibrasyon örneklem büyüklüğünün artmasıyla yükselmiştir.Anahtar sözcükler: madde tepki kuramı, bireyselleştirilmiş bilgisayarlı test, online kalibrasyon, öntest maddesi, parametre kestirim yöntemi, öntest madde seçim yöntemi

Computerized adaptive test (CAT) has a possible risk that the quality of the item bank decreases over time due to the exposed items. The best possible and advantageous solution to this is to implement the online calibration. This study was aimed to investigate the effect of online calibration components on precision in parameter estimation and the cumulative sample size (specified to the calibration method). It was also aimed to transfer Joint Maximum Likelihood as a pretest calibration method to the online calibration procedure and assess this method's feasibility. The simulation study was conducted under one-parameter logistic (1-PL) and two-parameter logistic (2-PL) model to compare the pretest item selection methods (Maximum Fisher Information-MFI, D-optimal value design-DVOD, and Bayesian D-optimal design-BDOD), the parameter estimation methods (Joint Maximum Likelihood-JML and Marginal Maximum Likelihood with One EM Cycle-OEM), the sample size of the random calibration stage (250, 500, and 1000) and the calibration sample size of per pretest item (250, 500, and 1000). The performance of these factors on the parameter precision was evaluated by calculating bias and root mean squared error (RMSE). The results indicate that the performances of item selection methods differ according to Item Response Theory (IRT) models and the parameter estimation methods. Among the calibration methods, OEM has successfully estimated the most precise item parameters although JML performed better in some conditions. The sample size of the random stage did not have a characteristic effect on parameter estimation. Lastly, the parameter accuracy gets higher as the calibration sample size increases.Keywords: item response theory, computerized adaptive testing, online calibration, pretest item, field-test item, item parameter estimation, pretest item selection method