Çok boyutlu madde tepki kuramının farklı modellerinden çeşitli koşullar altında kestirilen parametrelerin incelenmesi

Abstract

Bu çalışmada farklı madde sayısı ve örneklem büyüklüğü koşullarına sahip değişen boyutluluk özelliklerindeki veri setlerinin madde ve birey parametreleri tek boyutlu ve çok boyutlu madde tepki kuramı ile kestirilmiş; kestirimlere ilişkin olarak elde edilen standart hata ortalamalarının karekökü (RMSE), yanlılık ve kestirilen parametreler ile gerçek parametreler arasındaki korelasyon değerleri incelenmiştir. Sonuçta daha kararlı kestirim yapabilmek için gerekli test uzunluğu ve örneklem büyüklüğüne ilişkin öneriler geliştirilmeye çalışılmıştır. Çalışmanın verileri simülasyon ile bir boyutlu, iki boyutlu karmaşık, iki boyutlu basit, üç boyutlu karmaşık ve üç boyutlu basit yapıda olmak üzere beş farklı yapı gösterecek biçimde üretilmiştir. Veri setlerinin üretiminde test uzunluğu 12 ve 48 madde; örneklem büyüklüğü 1000, 2000 ve 4000 olacak şekilde değiştirilmiştir. Bu şekilde 30 desen oluşturulmuştur. Oluşturulan her desene ilişkin olarak, madde ve birey parametreleri sabit tutulmak üzere, 25 tekrar yapılmıştır. Sonuçta 30 x 25 olmak üzere toplam 750 veri seti elde edilmiştir. Her bir veri seti sahip olduğu yapıya uygun betikle parametreleri kestirilmek üzere IRTPRO 2.1 yazılımının BA-EM algoritması ile analiz edilmiştir. Elde edilen sonuçlara göre madde parametrelerine ait RMSE değerlerinin ve korelasyonların hem madde sayısındaki hem de örneklem büyüklüğündeki değişimden etkilendiği görülmüştür. Birey parametresi kestirimleri örneklem büyüklüğünün değişiminden etkilenmezken, madde sayısının artışından etkilenmiştir. Tek boyutlu yapılarda çok boyutlu yapılardan daha kararlı kestirimler yapılmıştır. İki boyutlu karmaşık yapılarda birey parametreleri basit yapılardan daha düşük RMSE değerleri almıştır. Yanlılıklar iki boyutlu basit ve karmaşık yapılarda benzer değerlerde olmakla beraber 0,1'in altındadır. Üç boyutlu yapılarda hem madde hem de birey parametresi kestirimleri iki boyutlu yapılardan daha düşük kararlıkla yapılmıştır. Üç boyutlu karmaşık yapının kısa test koşulunda madde parametreleri için oldukça yüksek (>1,0) RMSE değerleri hesaplanmıştır. Üç boyutlu karmaşık yapının kısa test koşulunda madde parametreleri için elde edilen korelasyonlar düşük değerlerdedir. Üç boyutlu karmaşık yapıda üç boyutlu basit yapıdan daha yanlı kestirimler yapılmıştır. Elde edilen sonuçlardan yola çıkarak araştırmacılara boyut sayısı arttıkça madde parametresi kestirimlerinin iyileştirilmesi için madde ve birey; birey parametresi kestirimlerinin iyileştirilmesi için madde sayısını arttırmaları önerilmiştir. RMSE değerleri göz önünde bulundurularak madde parametresi kestirimlerini iyileştirmek için tek boyutlu testlerde 12 madde ve 1000 kişilik örneklem büyüklüğü, iki boyutlu karmaşık yapılarda 48 madde ve 1000 kişilik örneklem büyüklüğü, iki boyutlu basit yapılı testlerde 12 madde ve 2000 kişilik örneklem büyüklüğü önerilmiştir. Üç boyutlu testlerle çalışırken kararlı kestirimler elde etmek için karmaşık yapılarda en az 48 madde ve 4000'den büyük örneklem büyüklüğü, basit yapılarda ise 12 madde ve 4000 örneklem büyüklüğü ile çalışılması önerilmiştir. Korelasyon değerlerini göz önünde bulundurarak; birey parametresi kestirimlerini iyileştirmek için tek boyutlu yapılar, iki boyutlu (basit ve karmaşık) yapılar ve üç boyutlu basit yapılar için 12 maddelik, üç boyutlu karmaşık yapılar için 48 maddelik testlerin kullanılması önerilmiştir. Anahtar Kelimeler: Çok boyutlu madde tepki kuramı, madde tepki kuramı, parametre kestirimi.Anahtar sözcükler: Çok boyutlu madde tepki kuramı, madde tepki kuramı,parametre kestirimi

In this study, the item and ability parameters of the data sets which have changing dimensionality features with different item numbers and sampling size were estimated with the item response theory and multidimensional item response theory; related to these estimations root mean square error (RMSE), bias, the correlation values between estimated and real parameters were examined. At the end of the research, in order to have accurate estimations, the suggestions about the required test length and sample size were developed. The data of this study were generated in a way to show five different structures being one dimensional, two dimensional complex, two dimensional simple, three dimensional complex and three dimensional simple structure by means of simulation. In the generation of the data sets, test length was changed to include 12 and 48 items and the sample size was changed to be 1000, 2000 and 4000.Thus 30 patterns were generated. Each generated pattern was replicated for 25 times through fixed item and ability parameters. As a result, a total of 750 data sets (30*25) were obtained. Each data set was analyzed using suitable syntax for the structure with BA-EM algorithm of IRTPRO 2.1 software to estimate its parameters. According to the obtained results, the increase in test length and examinee number led to the estimation of item parameters with lower error and resulted in higher correlations with real parameters. The ability parameter estimations were not affected by the changes in the sample size while they were influenced by increase in the number of items. In the one dimensional structures, more accurate estimations were made than the multidimensional structures. In the two dimensional complex structures, ability parameters had lower RMSE values than they did in the simple structures. Bias values were similar in both two dimensional simple and complex structures and these values were below 0.1. In three dimensional structures, estimations of both item and ability parameters were made less accurately compared to two-dimensional structures. In short test condition of three-dimensional complex structure, very high (>1.0) RMSE values were calculated. In short test condition of the three dimensional complex structure, correlations obtained for item parameters had lower values. In three-dimensional complex structure, more biased estimations were made compared to the three-dimensional simple structure. Based on the obtained results, researchers were suggested to increase the number of items and examinees for item parameter recovery, and they were suggested to increase the number of items for ability parameter recovery, as the number of dimensions increases. Considering the RMSE values; for one dimensional tests 12 items and 1000 sample size; for two dimensional complex structures 48 items and 1000 sample size and for two dimensional simple structures 12 items and 2000 sample size was suggested in order to improve parameter recovery. In order to have accurate estimations while studying with three dimensional tests it was suggested to conduct study with minimum 48 items and more than 4000 sample size in complex structures; 12 items and 4000 sample size in simple structures. Considering the correlation values, it was suggested that 12-item tests should be used for one-dimensional, two-dimensional (simple and complex) and three-dimensional structures; 48-item tests should be used for three-dimensional complex structures in order to improve ability parameter estimations. Keywords: Multidimensional item response theory, item response theory, parameter estimation.Keywords: Multidimensional item response theory, item response theory,parameter estimation