Yarı karışık yapılı çok boyutlu yapıların tek boyutlu olarak ele alınması durumunda kestirilen parametrelerin incelenmesi

Abstract

Bu çalışmada yarı karışık yapılı çok boyutlu yapıların tek boyutlu olarak kestirilmesi durumunda ortaya çıkan hatalar incelenmiştir. Bu amaçla, testin yapısı, boyut sayısı, boyutlar arası korelasyon, testin güçlüğü ve farklı dağılımlar koşullarını içeren bir araştırma deseni tasarlanmıştır. Bu koşulları içeren araştırma deseni 168 hücreli olup, bunun yanı sıra çok boyutlu yapıların tek boyutlu olarak kestirilmesi durumunda elde edilen hataları değerlendirmek amacıyla gerçekte tek boyutlu olan bir veri yine tek boyutlu olarak kestirilmiştir. Tek boyutlu test oluşturulurken, çok boyutlu testlere ait parametrelerden yararlanılmıştır. Bütün koşullarda test uzunluğu 30, örneklem büyüklüğü 5000 olarak sabit tutulmuştur. Parametrelerin kestiriminde, tek boyutluluk sayıltısına dayanan BILOG programından yararlanılmıştır. Kestirilen parametrelerin içerdiği hataların değerlendirilmesinde RMSE (Root Mean Square Error) istatistiğinden faydalanılmıştır. İki boyutlu testler için a1 ve a2 parametrelerine göre en düşük hatalar korelasyonun 0.45 olduğu durumda elde edilmiştir. Tek boyutlu MTK'daki ayırt edicilik parametresine karşılık gelen MDISC'e göre hesaplanan hatalar diğer ayırt edicilik parametrelerine göre daha yüksek olmakla birlikte, alan yazında yer alan sonuçlara benzer bir örüntü sergilemiştir. Madde ayırt ediciliklerinin ortalamasına göre hesaplanan hatalar ise a1 ve a2 parametresi için hesaplanan hatalara benzer bir örüntü çizmekle birlikte her iki parametreden daha düşük olarak kestirilmiştir. Karmaşık madde sayısının basit madde sayısından daha fazla olduğu koşullarda, a1, a2 ve MDISC'e göre hesaplanan a parametresine ilişkin hatalar genel olarak daha düşüktür. Yaklaşık basit madde sayısının daha fazla olduğu durumlarda dağılımların etkisi fazla iken, karmaşık madde sayısı arttıkça dağılımların etkisi azalmaktadır. Genel olarak, testin zor ya da orta güçlükte olmasının ayırt edicilik parametrelerini etkilemediği söylenebilir. Yetenekle ilgili olan b parametresi için hangi dağılımın farklılaştırıldığının bir önemi olmayıp, dağılımı farklılaştırma derecesi ön plana çıkmaktadır. Boyutlar arası korelasyon arttıkça dağılımların etkisi azalmıştır. Güçlük parametresine ait RMSE değerleri, koşulların çoğunda boyutlar arası korelasyon arttıkça azalmaktadır. Genel olarak karmaşık madde sayısı arttıkça b parametresine ait hatalar da azalmaktadır. Testin zor olması durumunda elde edilen hataların orta güçlükteki teste göre oldukça yüksek olduğu görülmektedir. Ayrıca boyutlar arası korelasyon arttıkça orta ve zor testler için kestirilen hataların birbirine yaklaştığı söylenebilir. İki boyutlu testlerdeki yetenek parametresi için dağılımın ortalamasının sıfırdan daha çok farklılaştırıldığı koşullarda elde edilen hataların daha büyük olduğu görülmektedir. Boyutlar arası korelasyon arttıkça yetenek parametrelerine ait hatalar azalmıştır. İki boyutlu testlerde karmaşık madde sayısının artışı ile ilgili bütün yetenek parametrelerine genellenecek bir örüntü elde edilememiştir. θ1 ve θ2'nin ortalaması alınarak hesaplanan θort'ya göre hesaplanan hatalar, bu iki parametreye ilişkin hatalardan daha düşüktür. Genel olarak testin zor olmasının yetenek parametresini etkilediği, zor test için elde edilen hataların, orta güçlükteki testlerden daha yüksek olduğu görülmüştür. Üç boyutlu yapılarda a1, a2, a3 ve aort parametrelerine göre hesaplanan RMSE değerlerinin boyutlar arası korelasyon arttıkça arttığı görülmektedir. Diğer üç parametrenin ortalaması alınarak hesaplanan aort ile karşılaştırılan a parametresi en düşük hata ile kestirilmiştir. Boyutlar arası korelasyonun 0.90 olduğu koşullarda karmaşık madde sayısı arttıkça hatalar artarken, diğer korelasyonlarda azalmaktadır. Burada ayrıca MDISC ve diğer dört ayırt edicilik parametresinin karmaşık madde sayısı ile ilgili örüntülerinin birbirinin tam tersi olduğu dikkat çekmektedir. Genel olarak, dağılımların farklı ve testin zor veya orta güçlükte olmasının ayırt edicilik parametresini etkilemediği söylenebilir. İki boyutlu yapılarda olduğu gibi üç boyutlu yapılardaki b parametresinde en çok dikkat çeken faktör dağılımların etkisidir. Burada hangi dağılımın farklılaştırıldığının bir önemi olmaksızın ortalamaların değişim miktarına bağlı olarak b parametresine ait hatalar artmaktadır. Dağılımların standart normal olduğu koşullar dışında karmaşık madde sayısı arttıkça b parametresine ait hatalar azalmaktadır. Yine test zorlaştırıldığında b parametresine ait hatalarda özellikle dağılımların standart normal olduğu koşullarda ani bir yükselme meydana gelmektedir. Genel olarak güçlük parametresine ait RMSE değerlerinin boyutlar arası korelasyon arttıkça azaldığı söylenebilir. Üç boyutlu yapılardaki yetenek parametresi için boyutlar arası korelasyon arttıkça hatalar azalmaktadır. Tüm yetenek parametrelerinde karmaşık madde sayısının artışı ile ilgili düzenli bir örüntü elde edilememiştir. İki boyutlu yapılarda olduğu gibi hangi boyutun dağılımı farklılaştırılmışsa o boyuta ait RMSE değerleri yüksek kestirilmekte, diğerinde ise hafif bir azalma meydana gelmektedir. θort'ya göre hesaplanan hataların diğer üç yeteneğe ilişkin hatalardan düşük olduğu görülmektedir.Anahtar Kelimeler: Tek boyutluluk, yarı karışık yapılı test, tek boyutlu madde tepki kuramı, çok boyutlu madde tepki kuramı

This study investigates the errors resulted from unidimensional estimation of multidimensional semi-mixed structured tests. To this end, a research design was prepared to include various conditions such as test structure, number of dimensions, interdimensional correlation, test difficulty and different distributions. The research design involves 168 cells and additionally, unidimensional estimation of unidimensional data was conducted with the purpose of evaluating the errors emerged in case of unidimensional estimation of multidimensional structured tests. Parameters of multidimensional structures were used to form a unidimensional test. Under all conditions, values were fixed to 30 for test length and 5000 for sample size. BILOG program, which relies on unidimensionality assumption, was used for parameter estimation. RMSE (Root Mean Square Error) statistic was used for the evaluation of errors associated with the estimated parameters. The lowest errors were obtained from 0.45 correlation for parameters a1 and a2 in two-dimensional tests. Errors of MDISC which is equivalent to discrimination parameter of unidimensional IRT were relatively higher than other discrimination parameters, yet the pattern was similar with the results reported in the literature. While mean item discrimination had a similar pattern as parameters a1 and a2, it was estimated with less errors compared to both of the parameters. Under conditions where the number of complex items was more than the number of approximately simple items, errors obtained for a1 and a2 and MDISC were generally lower. In cases when the number of approximately simple items was higher, the effect of distributions was greater while this effect decreased as the number of complex items increased. In general terms, it can be said that high or medium test difficulty did not affect discrimination parameters. A particular distribution which was differentiated for parameter b related to ability had no importance while degree of differentiating the distribution came into prominence. As interdimensional correlation increased, effect of distributions decreased. RMSE values of difficulty parameter decreased as interdimensional correlation increased under most of the conditions. In general, as the number of complex items increased, errors associated with estimates of parameter b decreased. It was found that errors obtained from high-difficulty test were much higher than those in medium-difficulty test. In addition, it can be said that errors estimated for medium or high difficulty tests closed up as interdimensional correlation increased. The obtained errors were found larger under conditions where distribution differentiated more for ability parameter in two-dimensional tests. As interdimensional correlation increased, errors of ability parameters decreased. No pattern related to the increased number of complex items in two-dimensional tests was observed to be generalized for all ability parameters. Errors of θavg. calculated through the mean values of θ1 and θ2 were found smaller than the errors of these two parameters. In general it can be said that the difficulty of the test impacted the ability parameters, the errors obtained for difficult test were higher than those in medium-difficulty tests. RMSE values associated with parameters a1, a2, a3 and a mean increased as interdimensional correlation increased in three dimensional tests. aavg. calculated based on the mean values of three other parameters was estimated with the smallest error. Under conditions where interdimensional correlation was 0.90, errors increased as the number of complex items increased; while errors decreased in other correlations. In addition, patterns related to the number of complex items in MDISC and for other discrimination parameters were just opposite to each other. In general terms, it can be said that different distributions and high or medium test difficulty did not affect discrimination parameters. The most remarkable factor in parameter b in three-dimensional structures was the effect of factor distributions as in two-dimensional structures. At this point, which distribution is differentiated was not important while errors of parameter b increased based on the degree of change in mean values. As the number of complex items increased, errors of parameter b decreased except for the conditions where distributions were standard normal. Similarly, when the test was difficult, a sudden increase emerged in the errors associated with parameter b under conditions where especially distributions were standard normal. In general, it can be said that RMSE values of difficulty parameter decreased as interdimensional correlation increased. As interdimensional correlation increased, errors decreased for ability parameter in three-dimensional structures. No regular pattern was obtained related to the increase in the number of complex items in all ability parameters. RMSE values of the dimension whose distribution was differentiated were estimated high as in two-dimensional structures and a slight decrease was observed in the other. It was found that errors of θavg. were smaller than those of three other abilities.Keywords: Unidimensionality, semi-mixed test, unidimensional item response theory, multidimensional item response theory