Parametrik ve parametrik olmayan madde tepki kuramı modellerinden çeşitli faktörlere göre elde edilen madde ve yetenek kestirimlerinin karşılaştırılması

Abstract

Bu araştırmada, Madde Tepki Kuramı kapsamında yer alan iki farklı yaklaşım olan parametrik ve parametrik olmayan madde tepki kuramı modellerinden kestirilen madde ve yetenek parametrelerinin test uzunluğu, örneklem büyüklüğü ve maddelerin psikometrik nitelikleri faktörlerine göre karşılaştırılması amaçlanmıştır.Temel araştırma modelinde yer alan araştırmanın verileri Uluslararası Matematik ve Fen Eğilimleri Araştırması'nın (Trends of International Mathematic and Science-TIMSS) 2011 yılındaki uygulamasından temin edilmiştir. Söz konusu uygulamanın matematik alt testlerinden tek boyutluluğu en yüksek düzeyde sağlayan bir kitapçık belirlenmiş ve bu kitapçığı yanıtlayan ve TIMSS 2011 başarı sırasında ilk 20'de yer alan ülkelerin verileri kullanılarak 7242 kişilik bir veri seti oluşturulmuştur. Oluşturulan temel veri setinden çalışmanın amaçları ve incelemeye alınan faktörlerin koşulları gözetilerek 16 ayrı veri seti oluşturulmuştur. Örneklem büyüklüğü faktörü incelenirken 500, 1000 ve 3000 kişilik veri setleri oluşturulmuş ve bu veri setleri beş, 15 ve 25 maddelik test uzunluğu koşulları ile çaprazlanarak PMTK ve POMTK'ya göre madde ve yetenek parametreleri kestirilmiştir. Değişen madde psikometrik nitelikleri faktörü altında ise, madde güçlük ve ayırt edicilik parametresine göre düşük ve yüksek değerlere sahip olan maddeler belirlenerek dört ayrı veri seti oluşturulmuş ve bu veri setlerinden birey yetenek kestirimleri yapılmıştır. Araştırma soruları kapsamında elde edilen sonuçlar incelendiğinde, her iki yaklaşıma göre farklı örneklem büyüklüğünden kestirilen madde parametreleri arasında yüksek ve manidar bir uyum olduğu belirlenmiştir. Test uzunluğu ve örneklem büyüklüğü koşullarının birlikte incelendiği veri setleri için ise PMTK ve POMTK modellerinden kestirilen madde parametreleri arasında yüksek ve manidar ilişkiler olduğu bulunmuştur. Aynı yaklaşıma göre kestirilen yetenek parametreleri arasındaki ilişkiler incelendiğinde ise, PMTK ile beş ve 15 maddelik veri setlerinden kestirilen yetenekler arasında manidar bir ilişki bulunamamışken, 25 maddelik veri setleri için tüm örneklemlerden kestirilen yetenek parametreleri arasında yüksek ve manidar ilişkiler olduğu belirlenmiştir. POMTK ile kestirilen yetenekler arasında ise tüm örneklem büyüklüğü ve test uzunluğu koşullarında manidar ve yüksek ilişkiler olduğu bulunmuştur. Ayrıca PMTK ve POMTK'dan kestirilen yetenekler arasındaki ilişkiler incelendiğinde ise, PMTK'dan kestirilen yeteneklerin yalnızca madde sayısının 25 ya da örneklem büyüklüğünün 3000 olduğu durumlarda POMTK ile tutarlı sonuçlar verdiği bulunmuştur. Çalışma kapsamında yetenek parametrelerine etkisi incelenen bir diğer faktör maddelerin güçlük ve ayırt edicilik düzeyleridir ve bu faktöre göre madde güçlük ve ayırt edicilik parametrelerinin düşük ve yüksek olarak gruplandırıldığı dört veri setinden, PMTK ve POMTK modellerinden kestirilen yetenekler arasında yüksek ve manidar ilişkiler bulunmuştur. Özetle her iki yaklaşıma göre farklı koşullar altında kestirilen madde ve yetenek parametreleri birbirleri ile yüksek ve manidar ilişkiler göstermiştir. Dolayısıyla PMTK modellerinin varsayımları veri setleri için yeterli düzeyde karşılanmadığında, incelenen koşullara uygun durumlarda POMTK yaklaşımının tercih edilebileceği sonucuna ulaşılmıştır.

This study aimed to compare the item and ability parameters estimated from two different approaches of Item Response Theory, which are parametric and non-parametric, according to the factors of test length, sample size and the item psychometric qualities.The study was prepared in a basic research method and the data of the study is obtained from the Trends of International Mathematic and Science (TIMSS) 2011 application. The mathematic booklet at eight grade level which had been determined as unidimensional at most was used and the data from the first 20 countries were gathered. The final data set od the research was composed of 7254 students from different countries. From the main data set, 16 different data sets were formed according to the research questions and the conditions of the factors. As for sample size factor, three different data sets were prepared consisted of 500, 1000 and 3000 students and sample size conditions were crossed with the test length conditions which are five, 15 ve 25 items. From these data sets, item and ability parameters were estimated by using the compatible parametric and non-parametric item response models and the results were compared by using the relevant correlation coefficients. According to the last factor of item psychometric quality factors, four different data sets were composed and ability parameters were estimated from them and compared. Lastly, the realibity of the data sets were investigated by using test information functions in parametric item respose theory models and calculating Cronbach Alpha, Lambda2, LCRC and MS coefficients in non-parametric item response theory models. The results showed that all of the item parameters estimated according to the parametric and non-paramteric models from the data sets which are composed of different number of items and sample sizes were correlated significantly and highly. However, as for ability parameters, it was determined that there is not consistency in the estimations according to the parametric models especeially when the data sets are composed of five and 15 items. However, it was found that the abilities estimated from 25 item data set is correlated significantly and highly. Among of the abilities estimated by non-parametric models in all sample size and test length factors, it was concluded that ability parameters are significantly and highly correlated. Additionally, when the correlation of estimated ability parameters was examined between parametric and non-parametric models, parametric models produced consistent with non-parametric models only in the conditions of having 25 items or sample size is larger than 3000. In the scope of this work, the another factor whose effects were examined on ability parameters were the levels of item discrimination and item difficulty parameters and according to this factor, it was observed that the abilities estimated from the four data sets that were grouped in terms of 'low and high' item difficulties and item discrimination, were correlated highly and significantly. Accordingly, it was found that both approaches had resulted in so highly and significantly correlated item and ability parameters. This finding showed that if the assumptions of parametric item response theory models are not met as a required level, the non-parametric alternative models can be used in the conditions that studied in this research.