Parametrik ve parametrik olmayan madde tepki kuramı modellerinin farklı örneklemler ve test uzunluğunda karşılaştırılması

Abstract

Bu araştırmanın amacı çok kategorili veriler için, Parametrik Madde Tepki Kuramı (PMTK) kapsamındaki Aşamalı Tepki Modeli (ATM) ve Parametrik olmayan Madde Tepki (PoMTK) kapsamındaki Monoton Homojenlik Modeli (MHM) ile yapılan kestirimlere örneklem büyüklüğü, örneklem dağılımı, testte yer alan madde sayısı, testte yer alan maddelerin yanıt kategorisi sayısı bağımsız değişkenlerinin etkilerini incelemektir. Bu amaca ulaşabilmek için araştırma; örneklem büyüklüğü, örneklem dağılımı, madde sayısı, maddenin kategori sayısı değişkenleri ile belirlenen 7200 simülasyon koşulu ile desenlenen temel bir çalışma olarak gerçekleştirilmiştir. Örneklem büyüklüğü (N=100, 250, 500, 1000), örneklem dağılımı (normal dağılım, çarpıklık katsayısı -0,5 olan dağılım, çarpıklık katsayısı -1,0 olan dağılım), madde sayısı (10, 20, 40, 80), maddenin yanıt kategorisi sayısı (3, 5, 7) koşulları için ATM ve MHM ile yapılan kestirimler sırasıyla model veri uyumları, güvenirlik değerleri, madde parametreleri, parametrelerin hataları ve yanlılık değerleri hesaplanarak incelenmiştir. Araştırma sonucunda; ATM'de model veri uyumu hesaplanırken değerlerin değişken artışından etkilenmesi, tek başına yorumlanamaması bu değerlerin karşılaştırılması ve genellenmesini zorlaştırmaktadır. MHM'de model veri uyumunun pratik olarak hesaplanması, başka bir değere ihtiyaç duyulmadan tek başına yorumlanması ATM'ye göre üstünlük sağlamaktadır. Küçük örneklemlerde, az maddeli koşullarda, büyük örneklem ve çok maddeli durumla benzer sonuç vermesi MHM'ye daha geniş bir kullanım alanı sağlamaktadır. Diğer bir araştırma sonucu güvenirlik değerlerinin iki model için benzer sonuç vermesidir. Örneklem büyüklüğündeki artışlar güvenirlik değeri üzerinde az etkiye sahip olmuştur. İki model için de güvenirlik değerleri madde sayısı ve maddenin yanıt kategorisi sayısının artışıyla artmıştır. Dağılım çarpıklığı arttıkça kestirimlerin güvenirlik değerleri azalmıştır. Madde parametrelerine ilişkin sonuçlarda ATM'de kestirilen parametrelerin gerçek parametrelerle korelasyonu; madde sayısı, maddenin kategori sayısı ve örneklem büyüklüğü arttıkça artış göstermiştir. Ayırıcılık (a) parametreleri; madde sayısı, maddenin kategori sayısı ve örneklem arttıkça azalma eğilimi göstermiştir. Bu örüntü dağılım çarpıklığı arttıkça azalmıştır. Eşik (b) parametrelerindeki değişim belli bir örüntü göstermemektedir. Parametrelerin standart hata, RMSE, yanlılık değerleri, küçük örneklem ve az maddeli koşullarda daha yüksek kestirilmiştir. Dağılımların çarpıklığı arttığında, hata ve yanlılık düzeyi artmıştır. MHM'de madde sayısı, maddenin kategori sayısı ve örneklem büyüklüğü arttıkça ölçeklenebilrlik (H) katsayısı ve güçlük (P) değerleri istatistiksel olarak anlamlı değişiklik göstermemiştir. Genel olarak yorumlandığında değerlerin birbirine yakın olduğu söylenebilir. MHM için hesaplanan parametrelerin standart hataları, küçük örneklem ve kısa test koşullarında ATM kestirimlerine göre oldukça düşüktür ve tüm koşullarda birbirine yakın değer almıştır. Sonuç olarak, ATM ile parametre kestirimlerinin gerçek değerlerle yüksek ilişkili olması, daha güvenilir ve daha az hatalı olması, dağılımın normallik özelliği göstermesi ve en az 500 örneklem büyüklüğünün sağlanmasıyla gerçekleşmektedir. Madde sayısının 20, kategori sayısının en az 5 olmasının kestirimlerde parametre değişmezliğinin sağlanmasında etkili olan faktörler olduğu sonucuna ulaşılmıştır. Dolayısıyla araştırma koşulları örneklem büyüklüğü, madde sayısı ya da madde kategori sayısının değişimine imkân vermediği durumlarda tüm koşullardan daha az hatalı ve daha kararlı yapıda kestirim sunan MHM tercih edilmesi önerilebilir.

This research aimed to identify, for polytomous data, the effects of independent variables as sample size, sample distribution, the number of items in the test and the number of response categories of items in the test on estimations achieved by Graded Response Model (GRM) under Parametric Item Response Theory (PIRT) and by Monotone Homogeneity Model (MHM) under Non-Parametric Item Response Theory (NPIRT). To achieve this aim, the research was performed as a basic study of which 7200 simulation conditions determined by the variables as sample size, sample distribution, the number of items and the number of categories of items were designed. Estimates, for conditions as sample size (N= 100, 250, 500, 1000), sample distribution (normal, -0.5 skewed, -1.0 skewed), the number of items (10, 20, 40, 80) and the number of categories of items (3, 5, 7), which were achieved by GRM and MHM were examined by respectively calculating model data fit, reliability values, item parameters, errors of parameters and bias values.As a result of the research, that values were affected by increase of variables while the model data fit was calculated at GRM and that values cannot be interpreted alone made comparison and generalization of those values difficult. The practical calculation of model data fit and interpretation without the need for another value at MHM provided superiority over GRM. Due to giving similar results at small samples and at conditions with fewer items to conditions with larger samples and multiple items, MHM had a wider range of implementation.Another research result was that the reliability values gave similar results for both models. The increase in sample size had little effect on reliability value. In both models, values increased by increase of both the number of items and number of item response category. Reliability value of estimates decreased as the distribution skewness increased.In the results related to the item parameters, the correlation of GRM parameters with true parameters increased as the number of items, the number of categories of items and sample size increased. The number of items of discrimination (a) parameters showed tendency to decrease as the number of categories of items and sample size increased. This pattern decreased as the distribution skewness increased. The variation in threshold (b) parameters did not show a certain pattern. Standard error, RMSE, bias values of parameters were estimated higher at small samples and at conditions with fewer items. The error and bias level increased when the distribution skewness increased. In MHM, as the number of items, the number of categories of items and the sample size increased the scalability (H) coefficient and difficulty (P) values did not show a statistically significant change. In general, it could be suggested that values were close to each other. The standard errors of the parameters calculated for MHM were very low compared to GRM at small sample and short test conditions and took close values to each other at all the conditions.In conclusion, that parameter estimates by GRM were highly correlated with true values, more reliable and less faulty was owing to that the distribution showed normality and that sample size with at least 500 was provided. It was concluded that the number of items which was at least 20 and the number of category which was at least 5 were effective factors in providing the parameter goodness in the estimates. Thus, in case the research conditions do not allow changes at sample size, the number of sample items or the number of item categories, it can be suggested that MHM which provides less faulty and more stable estimations at all the conditions can be preferred.