Bilişsel tanı ve çok boyutlu madde tepki modellerinin sınıflama doğruluğu ve parametrelerinin karşılaştırılması

Abstract

Bu çalışmada, 3PL çok boyutlu madde tepki kuramı (ÇB-MTK) ve bilişsel tanı modelleri (BTM) ile kestirilen birey parametrelerinin sınıflama doğruluğunu incelemek üzerine simülasyon çalışması ve gerçek veri uygulaması yapılmıştır. Modelleri karşılaştırmak için birey parametre kestirimlerine ilişkin RMSE, yanlılık ve nitelik ve nitelik profilleri için doğru sınıflama oranları hesaplanmıştır. Araştırmanın sonucunda tüm test koşulları için verinin üretildiği 3PL ÇB-MTK modelinin en düşük hata ve yanlılık değerine sahip olduğu bulunmuştur. Test uzunluğu ve nitelikler arası korelasyonun artması ile hata değerlerinin azaldığı ancak hata değerlerinin düşmesindeki en etkili değişkenin madde sayısı olduğu görülmüştür. Yanlılık değerleri ise test uzunluğu ve nitelikler arası korelasyonun artması ile birkaç istisnai durum dışında azalma eğilimi göstermiştir. Daha fazla soru ile ölçülen 1. ve 4. nitelikler için nitelik ve nitelik profillerinin eşit sayıda ölçüldüğü Q-matrisinin kullanılması hata ve yanlılığı arttırırken, diğer nitelikler için hata ve yanlılığın azaldığı gözlenmiştir. Tüm simülasyon koşulları için nitelik ve nitelik profili bazında en yüksek doğru sınıflama oranına 3PL ÇB-MTK'nın sahip olduğu görülmüştür. Nitelik bazında doğru sınıflama oranlarının 0.728 ile 0.890, nitelik profili bazında doğru sınıflama oranlarının ise 0.135 ile 0.711 arasında değiştiği belirlenmiştir. Testteki madde sayısı ve nitelikler arası korelasyonun artması ile tüm modeller için nitelik ve nitelik profili bazında yapılan doğru sınıflama oranları monotonik olarak artmıştır. Nitelik ve nitelik profillerinin eşit sayıda ölçüldüğü Q-matrisinin kullanılması ise daha yüksek oranda doğru sınıflama yapılmasına neden olmuştur. Gerçek veri uygulamasına dayalı sonuçlar incelendiğinde, G-DINA modelinin diğer BTM'lere göre mutlak ve göreceli model uyumu ve madde uyumu indekslerine göre daha iyi uyum gösterdiği bulunmuştur. Her bir nitelik sınıfı için geçen kişi yüzdeleri incelendiğinde ise bireylerin büyük bir çoğunluğunun (1,1,1) ve (0,0,0) sınıflarında toplandığı görülmüştür.Anahtar sözcükler: bilişsel tanı modelleri, çok boyutlu madde tepki kuramı, uyarlama, doğru sınıflama oranı

This study investigated the classification accuracy of person parameters estimated by 3PL multidimensional item response theory (MIRT) and cognitive diagnostic models (CDMs) via simulation and real data analysis. To compare the models, RMSE, bias, and correct classification rates of attributes and attribute profiles were calculated. As a result of the study, it was found that for all test conditions, 3PL MIRT had the lowest RMSE and bias values. The increase in test length and the correlation between attributes decreased the RMSE and test length had the greatestpositive impact on decreasing RMSE values than the correlation between attributes. By increasing test length and the correlation between attributes, bias tended to decrease except for a few exceptional cases. The use of Q-matrix which was designed to measure the attributes and attributes profiles in equal number, increased the RMSE and bias for the attributes 1 and 4 which were measured by more items, and reduced RMSE and bias for other attributes. For all test conditions, 3PL MIRT had the highest attribute and attribute profile correct classification rates. It was found that the correct classification rates based on attributes ranged from 0.728 to 0.890 and the correct classification rates of attribute profiles were between 0.135 and 0.711. As the test length and correlation increased, attribute and attribute profile based correct classification rates increased monotonically. Similarly, the use of the Q-matrix which measured the attributes and the attribute profiles in equal number, increased the correct classification rates. In real data applications, G-DINA model had the best relative and absolute model fit and item fit among the other CDMs. When examining the attribute mastery probabilities, it was found that the majority of the examinees were clustered in (1,1,1) and (0,0,0) attribute classes.Keywords: cognitive diagnostic models, multidimensional item response theory, retrofitting, correct classification rate