Değişen madde fonksiyonunun test eşitlemeye etkisi

Abstract

Bu çalışma kapsamında DMF'li madde içeren testlerde, DMF'li maddelerin testten çıkarılması ve testte tutulması durumlarının test eşitlemeye etkisi çok düzeyli madde tepki modelleri (ÇDMTM) ve geleneksel madde tepki modelleri (MTM) kullanılarak incelenmiştir. Çalışmada kullanılan eşitleme yöntemlerinin performansı eşitleme hatalarına göre değerlendirilmiştir. Eşitleme hatası üzerindeki etkisi incelenen değişkenler: örneklem büyüklüğü, test uzunluğu, DMF etki büyüklüğü ve DMF'li maddelerin bulunduğu testtir. Çalışmada 24 farklı simülasyon koşulunda 3 farklı eşitleme yönteminin performansları incelenmiştir. DMF faktörlerinin modele parametre olarak eklendiği ÇDMTM, MTM'ye dayalı eşzamanlı kalibrasyon ve ayrı kalibrasyon yöntemlerinden SL ile karşılaştırılmıştır. MTM'ye dayalı yöntemlerde ise referans bilgi elde etmek için DMF'li maddelerin göz ardı edildiği (yok sayıldığı) ve DMF'li maddelerin testten çıkarıldığı iki durum birlikte incelenmiştir. Çalışmada kullanılan eşitleme yöntemlerinden ÇDMTM için HLM 6.8, eşzamanlı eşitleme için BILOG-MG, ayrı kalibrasyon yöntemlerinden SL için PARSCALE 4.1 ile kestirim yapıldıktan sonra aynı ölçeğe getirmek için IRTEQ programı kullanılmıştır. Çalışmada kullanılan tüm programlar R yazılımı üzerinden çalıştırılmıştır. Araştırmada elde edilen sonuçlar doğrultusunda, ele alınan koşullara göre yöntemlerin performansları farklılık göstermiştir. ÇDMTM tek bir analizle DMF'li maddeleri belirleyebilmekte, eşitleme sürecini gerçekleştirebilmekte ve DMF'den kaynaklanan yanlılığı modelden çıkarabilmektedir. Ancak bu ÇDMTM'nin en iyi eşitleme yöntemi olduğunun göstergesi değildir; çünkü örneklem büyüklüğü ve test uzunluğunun artması genel olarak MTM'ye dayalı eşitlemelerde olumlu etki yaratırken ÇDMTM bu iki koşuldan MTM'ye göre daha az etkilenmiştir. MTM'ye dayalı yöntemler kendi içinde incelendiğinde ise DMF'li maddelerin varlığından, ayrı kalibrasyon yöntemlerinin eşzamanlı kalibrasyona göre daha çok etkilendiği; bu etkinin en çok DMF'li maddenin ortak testte olduğu ve DMF etki büyüklüğünün C olduğu koşullarda gerçekleştiği görülmüştür. DMF'li maddelerin testten çıkarılmasının küçük örneklemlerde ve kısa testlerde eşitleme hatasını arttırdığı, büyük örneklemler ve uzun testlerde ise eşitleme hatasını azalttığı sonucuna ulaşılmıştır. Buradan çıkarılan sonuç yeterli test uzunluğu sağlandığında testten madde çıkarmanın eşitlemeyi olumsuz etkilemeyeceği olabilir, ancak testten madde çıkarmak test eşitlemeyi olumsuz etkilemese bile yapı ve kapsam geçerliğini düşürebilir.Anahtar sözcükler: Test eşitleme, değişen madde fonksiyonu, eşitleme hatası,eşitleme yanlılığı, çok düzeyli madde tepki modelleri

The purpose of this study is to investigate the equating performance based on item response models and multilevel item response models in case of including and excluding DIF items from the test which contains DIF. The performances of equating models were evaluated with respect to equating errors. The effect of sample size, length of the test, DIF effect size and DIF items on equating error was examined.In the study the performance of 3 different equating models were investigated in 24 different simulation conditions. Multilevel item response models were compared with concurrent calibration and separate calibration (SL) are based on item response models in order to understand the potential of multilevel item response models when DIF factors were added as parameters to the model. In the methods based on item response models, the cases of DIF items included and excluded in the test were examined respectively in order to get reference information. In the study, HLM 6.8 software was used for multilevel item response models, BILOG-MG software was utilized for concurrent calibration, PARSCALE 4.1 was used in the prediction for SL and IRTEQ was used test equating and scaling after prediction. All software programs were operated through R. In the scope of the results of the study, the performances of the methods vary with respect to the conditions held in the study. Multilevel item response models are able to identify DIF items, carry out the equating process and remove the bias caused by DIF from the model with the only one analysis. However, this doesn't imply that multilevel item response models are the best equating models because while increasing the sample size and test length affects item response models positively, it has less effect on multilevel item response models. When item response models were investigated in itself, the separate calibration methods are more influenced by DIF items than concurrent calibration methods and this influence become greatest in the conditions when DIF items are in common test and the effect size of the DIF is C. The results of the study indicated that excluding DIF items from the test increased equating error when the sample size is small and test is short. On the other hand, it decreased the equating error in the large samples and long tests. From these results, it can be concluded that when the test length is enough, item exclusion has no negative effect on equating. However, excluding items from the test may decrease construct and content validity of the test.Keywords: Test equating, differential item functioning, equating error, equating bias, multilevel item response models