İki parametreli lojistik model altında farklı yetenek dağılımlarının madde parametre kestirimine etkisinin incelenmesi

Abstract

Eğitimde ve Psikolojide ikili puanlanan maddelerden oluşan testler sıklıkla kullanılmaktadır. Madde tepki kuramı altında lojistik modellerle kullanılabilen bu testlerin madde parametreleri kestirilirken kestirimlerin daha keskin olmasını sağlayan bazı özellikler vardır ancak testlerin uygulandığı gruplar bu özellikleri her zaman sağlayamayabilir. Bu araştırmanın amacı, ikili puanlanan maddelerden oluşan bir veri setinin 2 parametreli lojistik (2PL) model ile analizinde veri setinin çeşitli özelliklerinin parametre kestirimlerinin keskinliğine olan etkilerini incelemektir. Bu araştırma, ikili puanlanan testlerden elde edilen yetenek parametrelerinin normal dağılmadığı durumların ve örneklem büyüklüğünün parametre kestirimlerinin keskinliğini nasıl etkileyeceğini açıklayacağından önemlidir. Araştırmanın amacı doğrultusunda çarpıklık katsayıları 2,00, 1,00, 0,00, -1,00 ve -2,00 olan ve 250, 500, 1,000 ve 2,000 örneklem büyüklüklerinde veriler ve uzunluğu 30 maddeden oluşan bir test için madde parametreleri R programlama dilinde RStudio yazılımında üretilmiştir. Üretilen her bir veri seti için 100 replikasyon gerçekleştirilmiş ve madde parametrelerinin kestirimleri RStudio yazılımında R programlama dili kullanılarak mirt paketinde marginal maximum likelihood (MML) kestirim yöntemi yardımıyla gerçekleştirilmiştir. Parametre kestirim keskinliğini değerlendirmek içinse hata kareleri ortalamasının karekökü (root mean squared error-RMSE) ve Bias istatistikleri kullanılmıştır. Araştırmanın bulgularında çarpıklık katsayıları mutlak değerce büyüdüğünde a parametreleri için RMSE değerlerinin büyüdüğü ve Bias değerlerinin sıfırdan uzaklaştığı, b parametreleri için çarpıklık katsayıları mutlak değerce büyüdüğünde hemen hemen aynı RMSE ve Bias değerlerinin elde edildiği görülmüştür. Örneklem büyüklükleri arttığında a parametreleri için tüm dağılımlarda RMSE değerlerinin küçüldüğü ve Bias değerlerinin hemen hemen aynı değerlerde olduğu, b parametreleri içinse örneklem büyüklüğü arttıkça RMSE değerlerinin küçüldüğü ve Bias değerlerinin çarpıklık katsayısına göre bazen sıfıra yaklaştığı bazen de sıfırdan uzaklaştığı görülmüştür. Normal dağılımdan elde edilen sonuçlar diğer çarpıklık katsayılarına sahip dağılımlardan elde edilen sonuçlar ile karşılaştırıldığında en küçük RMSE ve sıfıra en yakın Bias değerlerini ürettiği görülmüştür.

Tests consisting of dichotomously scored items are frequently used in education and psychology. These tests, which can be used with logistic models under item response theory, have some features that make the estimation more accurate when estimating item parameters but groups in which tests are applied may not always provide these features. The aim of this study is to analyze the effects of various features of the data set on the accuracy of the parameter estimates in the analysis of a data set consisting of dichotomously scored items with a 2 parameter logistic (2 PL) model. This study is important because it will explain how the ability parameters obtained from dichotomously scored tests have not normal distribution and the sample size will affect the accuracy of parameter estimates. For the purpose of the study, item parameters for a test with skewness coefficients 2,00, 1,00, 0,00, -1,00 and -2,00 and with sample sizes of 250, 500, 1,000 and 2,000 and a length of 30 items were produced in the R programming language and RStudio software. 100 replications were performed for each data set produced and the estimations of the item parameters were performed with the help of the marginal maximum likelihood (MML) estimation method in the mirt pack using the R programming language in the RStudio software. To evaluate parameter estimation accuracy, root mean squared error (RMSE) and Bias statistics were used. The results of the study showed that RMSE values for parameters a increased when the skewness coefficients increased by absolute value and Bias values moved away from zero, and that almost identical RMSE and Bias values were obtained when the skewness coefficients for parameters b increased by absolute value. When the sample sizes increased, it was observed that RMSE values decreases in all distributions for the a parameters and the Bias values were almost the same, for the b parameters, the RMSE values decreases as the sample size increased, and the Bias values sometimes approached to zero compared to the skewness coefficient. When the results obtained from the normal distribution are compared with the results obtained from the distributions with other skewness coefficients, it is seen that it produces the smallest RMSE and the Bias values closest to zero.