Madde takımları içeren testlerde farklı modellerden elde edilen madde ve yetenek parametrelerinin karşılaştırılması

Abstract

Bu araştırmanın amacı, madde takımları içeren testlerde madde takımı sayısı, bağımsız madde sayısı ve örneklem büyüklüğü değiştiğinde, tek boyutlu madde tepki kuramı, iki faktör ve madde takımı tepki kuramı modellerinden elde edilen madde ve yetenek parametreleri ile bu parametrelere ait standart hata değerlerini belirlemek ve elde edilen sonuçları karşılaştırmaktır. Bu amaç doğrultusunda, PISA2012 uygulamasındaki matematik alanına ait 10. kitapçık veri toplama aracı olarakseçilmiş ve bu kitapçıkta yer alan 36 maddeden elde edilen veriler kullanılmıştır.Araştırmada bu 36 madde kullanılarak farklı sayıda madde takımı ve bağımsız madde içeren altı farklı veri seti oluşturulmuştur. Daha sonra bu oluşturulan veri setlerinden 250, 500 ve 1000 kişilik üç farklı örneklem büyüklüğü rastgele olarak seçilmiştir. Altı farklı veri seti ve üç farklı örneklem büyüklüğünden oluşan toplam 18 koşul tek boyutlu madde tepki kuramı, iki faktör ve madde takımı tepki kuramı modelleri kullanılarak analiz edilmiştir. Verilerin analizinde IRTPRO 2.1 programı kullanılmıştır. Veri setinin yerel bağımlılık açısından test edilmesinde ise bu program aracılığıyla hesaplanan yerel bağımlılık ?2 (LD ?2) istatistiği kullanılmıştır. Daha sonra madde ve yetenek parametreleri ile bu parametrelere ait hata değerleri kestirilmiş, bütün kestirimlerin ortalamasıalınarak her bir veri seti ve örneklem büyüklüğü için rapor edilmiştir. Model-veri uyumunu incelemek için ise -2LL değerleri hesaplanmış ve bu değerler her koşul için incelenmiştir. Ayrıca her bir modelden elde edilen madde ve yetenek parametrelerine ait değerlerin korelasyon katsayıları hesaplanmıştır.Araştırmanın bulguları incelendiğinde farklı örneklem büyüklüklerinde, farklı modellerden ve farklı veri setlerinden elde edilen madde parametreleri için genel olarak en düşük ortalama hata değerlerinin tek boyutlu madde tepki kuramından (TBMTK) elde edildiği; madde takımı tepki kuramının (MTTK), iki faktör modelinden (2FM) daha düşük ortalama hata kestirimi yaptığı belirlenmiştir. Veri setindeki bağımsız madde sayısının artmasıyla parametrelere ait ortalama hata değerlerinde daha çok azalma eğilimi olduğu görülmüştür. Veri setine madde takımı eklenmesiyle genel olarak parametrelere ait hata ortalamaları artarken, en az değişkenlik gösteren parametrenin kesişim parametresi olduğu belirlenmiştir. Ancak veri setindeki madde takımı sayısının artmasının, madde parametrelerine ait hata ortalamalarına etkisi üzerine çok net bir sonuca erişilmemiştir. Örneklem büyüklüğü arttıkça farklı modellerden elde edilen yetenek parametresinin ve hata ortalamasının çok değişmediği, bireyin yetenek kestirimlerinin örneklem büyüklüğüne pek bağlı olmadığı sonucuna varılmıştır. Bütün koşullarda yerel bağımlılığı göz önüne alan modellerin TBMTK'den daha iyi model-veri uyumu sağladığı, genel olarak 2FM ile MTTK arasında anlamlı farklılık olmadığı; her iki modelin de bu veri setleri için kullanılabileceği belirlenmiştir. Bu iki model arasında anlamlı farklılık olduğudurumda ise 2FM'nin daha iyi sonuç verdiği söylenebilir. Ayrıca her bir örneklem büyüklüğünde ve veri setinde madde ve yetenek parametreleri ile bu parametrelerinin hatalarının korelasyonlarının genel olarak yüksek olduğubelirlenmiştir.Anahtar sözcükler: Madde tepki kuramı, madde takımı, madde takımı tepki kuramı,iki faktör modeli, yerel bağımlılık

The purpose of this research is to estimate the item and ability parameters and the standard error values related to those parameters, obtained from unidimensional item response theory (UIRT), bifactor (BIF) and testlet response theory models (TRT) in the tests including testlets, when the number of testlets, number of independent items, and sample size change, and to compare the obtained results. In accordance with this purpose, the 10th booklet applied in the field of mathematics in PISA 2012, has been selected as a data collection tool, and data obtained from 36 items in that booklet have been used. In the research, by using those 36 items, six different data set containing different numbers of testlets and independent items have been constituted. After that, from out of those constituted data sets, three different sample sizes of 250, 500 and 1000 persons have been selected randomly.Totally 18 different conditions which are composed of six different data sets and three different sample sizes, have been analyzed using unidimensional item response theory, bifactor and testlet response theory models. IRTPRO 2.1 program has been used in analyses of the data. In testing of the data set with regard to local dependency, the local dependency statistics of ?2 (LD ?2), which is calculated by means of this program, has been used. Then the item and ability parameters and standard error values belonging to those parameters have been estimated, all the estimations have been averaged, and reported for each data set and sample size. In order to examine the model - data compatibility, -2LL values have been calculated, and those values have been examined for each condition. In addition, correlation coefficients of the values belonging to the item and ability parameters obtained from each model have been calculated. When the findings of the research have been investigated, it was determined that, for the item parameters estimated under different samples sizes from different models and different data sets, generally the lowest mean error values wereobtained from UIRT; and TRT has made a mean of error estimation lower that BIF. With the increase in the number of independent items in the data set, it has been seen that there was a downward tendency in the mean of error values belonging to the parameters. With the addition of the testlets into the data set, while the mean of error values belonging to the parameters have increased generally, it was determined that the least differing parameter was the intersection parameter. But no clear tendency could have been reached in respect of the effect of the increase in the number of testlets in the data set on the error means. It has been concluded that, the sample size increases, the ability parameter and error mean obtained from different models does not change too much, and ability estimations of the individual do not depend too much on the sample size. It has been determined that, under all conditions, models which take into consideration the local dependency have provided better model - data compatibility than UIRT, generally there is no meaningful difference between BIF and TRT; and both models can be used for those data sets. It can be said that, when there is a meaningful difference between those two models, generally BIF gives a better result. In addition, it has been determined that, in each sample size and data set, item and ability parameters and correlations of errors of the parameters are generally high.Advisor: Prof. Dr. Hülya KELECİOĞLU, Hacettepe University, Department of Educational Sciences, Division of Educational Measurement and Evaluation