Madde tepki kuramının farklı uygulamalarından elde edilen parametrelerin ve model uyumlarının örneklem büyüklüğü ve test uzunluğu açısından karşılaştırılması

Abstract

Bu araştırmanın amacı, basit ve iki boyutlu yapılarda, çeşitli örneklem büyüklükleri, test uzunlukları ve boyutlar arası korelasyon değerlerinde, TBPoMTK, TBMTKve ÇBMTK elde edilen madde parametreleri, maddelere ait model veri uyumları ve teste ait model veri uyumlarını belirlemek ve elde edilen sonuçları karşılaştırmaktır. Bu amaca ulaşabilmek için, iki boyutlu bir özelliğe ve ikili puanlanan bir yapıya sahip veri setleri üretilmiştir. Üretilen veri setleri basit bir yapı göstermektedir. Bu sayede, aynı veri seti üzerine TBPoMTK, TBMTK ve ÇBMTK modeli uygulamaları yapılabilmiştir. Çeşitli örneklem büyüklüklerinde veri üretilmiştir. Bu örneklemler 100, 500, 1000 ve 5000 olarak belirlenmiştir. Ayrıca test uzunluğunun etkisini incelemek amacıyla üretilecek ilk faktör 25 madde ile sınırlandırılırken; ikinci faktör 5, 15 ve 25 maddeden oluşturulmuştur. Boyutlar arası korelasyon ise üretilen veri setleri ile tahmin edilen yetenek parametreleri arasındaki ilişkilerin 0.00, 0.25 ve 0.50 olarak değişimlenmesi ile elde edilmiştir. Her bir deneysel desenden, Monte Carlo çalışması kapsamında, 20 tekrar (replications) ile bulgular elde edilmiştir. Bu tekrarlar, tek ve çok değişkenli normal dağılım altında üretilmiştir.Madde parametrelerinin belirlenmesi amacıyla, TBPoMTK kuramına ait MHM'de αi (Ölçeklenebilirlik) ve δi (p değerleri); TBMTK kuramına ait 2PLM'de a ve b; ÇBMTK kuramına ait Tamamlayıcı Model'de ise α1, α2 ve d parametreleri tahmin edilmiştir. Maddelere ait model uyumlarının belirlenmesi amacıyla, TBPoMTK kuramına ait MHM'de madde için ölçeklenebilirlik (scalability) katsayısı; TBMTK kuramına ait 2PLM'de infit ve outfit değerleri ile ki-kare uyum istatistiği; ÇBMTK kuramına ait Tamamlayıcı Model'de ise infit ve outfit değerleri elde edilmiştir. Teste ait model veri uyumlarının belirlenmesi amacıyla, TBPoMTK kuramına ait MHM'de test için ölçeklenebilirlik (scalability) katsayısı; TBMTK kuramına ait 2PLM ve ÇBMTK kuramına ait Tamamlayıcı Model'de log-benzerlik istatistiği ve bazı bilgi ölçütleri (akaike ve bayesian) elde edilmiştir. Ayrıca, madde ve model veri uyumu parametreleri için standart hata ve anlamlılık değerleri hesaplanmıştır.Bulgular incelendiğinde, örneklem büyüklüğü ve test uzunluğundaki artış ile birlikte, teste ait model veri uyumu değerlerinin de arttığı belirlenmiştir. Boyutlar arası korelasyon ile farklılaşan model veri uyumu değerleri arasında değişime ait bir örüntü bulunamamıştır. Daha az maddeden oluşan testlerin ÇBMTK'ya daha iyi uyum sağladığı söylenebilmektedir.Tüm simülasyon düzeneklerinde, TBPoMTK'da maddelere ait model veri uyumu oldukça düşük bir hata ile hesaplanmaktadır. TBMTK için elde edilen ki-kare, infit ve outfit değerleri incelendiğinde, her üç katsayının da örneklem büyüklüğü ve test uzunluğundaki artış ile birlikte, daha iyi model veri uyumunu gösterdiği belirlenmiştir. ÇBMTK'da infit ve outfit değerleri incelendiğinde, TBMTK'ya benzer olarak, her iki katsayının da örneklem büyüklüğü ve test uzunluğundaki artış ile birlikte, optimum değer olan bire yaklaştığı belirlenmiştir. Boyutlar arası korelasyonun ise, TBMTK ve ÇBMTK ile elde edilen katsayıları az miktarda etkilediği belirlenmiştir. TBMTK ve ÇBMTK için elde edilen infit ve outfite ait standart hata değerleri incelendiğinde, her iki durumda da örneklem büyüklüğü ve test uzunluğundaki artış ile birlikte, t değerlerinin de sıfıra yaklaştığı görülmektedir.TBPoMTK'da Hi ve p parametrelerine ait standart hata değerleri, örneklem büyüklüğündeki artış ile azalma eğilimi göstermektedir. TBMTK'da a parametresi, örneklem büyüklüğündeki ve test uzunluğundaki artış ile birlikte azalma eğilimi göstermektedir. Hiçbir simülasyon koşulundaki değişim, b parametresi üzerinde etkili olamamıştır. ÇBMTK'da a1 ve a2 parametreleri, örneklem büyüklüğündeki artış ile birlikte azalma eğilimi göstermektedir. Test uzunluğu ve boyutlar arası korelasyondaki değişim ile a1 ve a2 parametrelerindeki değişim arasında bir örüntü bulunamamıştır. TBMTK'da a parametresine ait standart hata değerlerinin, örneklem büyüklüğündeki ve test uzunluğundaki artış ile birlikte, sıfıra yaklaşma eğilimi gösterdiği sonucuna varılmıştır. ÇBMTK'da a1 ve a2 parametrelerine ait standart hata değerleri, TBMTK'ya benzer sonuçlar vermektedir. Anahtar sözcükler: Parametrik olmayan madde tepki kuramı, çok boyutlu madde tepki kuramı, madde parametresi, model veri uyumu

The purpose of this study is to identify NIRT, PIRT and MIRT across different sample sizes, test length and correlation between dimensions in a two dimensional simple structures. The aim is also to identify and compare and contrast the results of item parameters, model data fit for the items and model data fit for the test. In order to achieve this purpose, the data sets with two dimensional structures and binary scoring properties, have been generated. These generated data sets display a simple structured feature. In doing so, NIRT, PIRT and MIRT model applications have been applied in the same data sets. Data in various sample sizes have been simulated. These sample sizes have been identified as 100, 500, 1000 and 5000. Moreover, to investigate the effect of test length, while limiting the first factors with the number of 25 items, the numbers of second factor items are 5, 15 and 25. As for the correlation between dimensions, the correlation between simulated data sets and estimated ability parameters have been determined to vary from 0.00, 0.25 to 0.50. From each experimental design, within the frame of Monte Carlo study, the findings have been obtained through 20 replications. These replications have been simulated under univariate and multivariate normal distributions.With the purpose of specifying the item parameters, for NIRT theory αi (scalability) and δi (p values); for PIRT theory a and b values; for MIRT theory α1, α2 and d values have been estimated. In order to specify the model data fit for the items, for NIRT theory scalability coefficients for items; for PIRT theory infit, outfit and chi-square fit statistics; for MIRT theory infit and outfit statistics have been obtained. For specifying the model data fit for the test, however, for NIRT theory scalability coefficients for test; for PIRT and MIRT theories log-likelihood statistics and some information criteria (akaike and bayesian) have been revealed. In addition, for the item parameters and model data fit for the items, standard errors and significance (p) values have been calculated. Having analyzed the findings of the research, with the increase of sample sizes and test length, it is also found out that the model data fit for the test has increased as well. Different correlation between dimensions setup, model data fit for the test values has not formed a pattern. It can be stated that tests consisting of less items fit better to MIRT models. In all simulation designs, model data fit for the items are calculated with quite low errors in NIRT. When the chi-square, infit and outfit values obtained for PIRT have been analyzed, it has been revealed that along with the increase of sample sizes and test length, all three coefficients exhibit better model fit. When MIRT infit and outfit values have been analyzed, similar to PIRT, the MIRT infit and outfit values have been found to be closer to optimum value one with the increase of sample sizes and test length. The correlation between dimensions showed little effect on chi-square, infit and outfit values. When standard errors belonging to infit and outfit values by PIRT and MIRT, have been analyzed, it has been observed that t values get closer to one along with the increase of sample sizes and test length.In NIRT, the standard errors belonging to Hi and p parameters tend to decrease with the increase of sample sizes and test length. In PIRT, a parameters tend to decrease when the sample sizes and test length increase. The change in any simulation designs hasn't showed an impact on b parameters. In MIRT, a1 and a2 parameters tend to decrease along with increase of sample sizes. There are not any patterns between the change of test length and correlation between dimensions with a1 and a2 parameters. In PIRT, the standard errors belonging to a parameters are found to get closer to zero with the increase in sample sizes and test length. In MIRT, the standard errors belonging to a1 and a2 parameters displayed similar results. Keywords: Nonparametric item response theory, multivariate item response theory, item parameter, model data fit