Madde tepki kuramına dayalı test eşitleme yöntemlerinin karşılaştırılması: PISA 2012 fen testi örneği

Abstract

Bu çalışmanın amacı, madde tepki kuramına dayalı test eşitleme yöntemlerini gerçek veriler üzerinde karşılaştırmak ve en az hata veren yöntemi tespit etmektir. Buamaçla PISA 2012 fen okuryazarlığı testinden seçilen iki kitapçık (kitapçık-1 vekitapçık-8) ölçek dönüştürme (ortalama-ortalama, ortalama-standart sapma,Stocking-Lord, Haebara) ve test eşitleme yöntemleri (MTK gerçek-puan eşitleme,MTK gözlenen-puan eşitleme) kullanılarak eşitlenmiş ve farklı yöntemlerden eldeedilen hata miktarları incelenmiştir.Araştırmanın çalışma grubunu, 1 numaralı kitapçığı cevaplayan 350 ve 8 numaralıkitapçığı cevaplayan 351 olmak üzere toplam 701 öğrenci oluşturmaktadır. Denkolmayan gruplarda ortak madde deseninde yürütülen çalışmada her iki kitapçıkta17'si ortak olmak üzere ikili puanlanan toplam 33 madde yer almaktadır. Verilerinanalizinde ilk olarak madde tepki kuramının varsayımları test edilmiştir. İkinciaşamada madde ve yetenek parametreleri iki parametreli lojistik model (2PLM)kullanılarak BILOG-MG programı ile kestirilmiştir. Parametre kestiriminde EAP(Beklenen A Posteriori) yöntemi kullanılmıştır. Ardından STUIRT programı ile dörtfarklı yöntem için ölçek dönüştürme işlemi gerçekleştirilmiştir. Son aşamada ise ikikitapçıktan elde edilen puanlar POLYEQUATE programı ile eşitlenmiş ve farklıyöntemlerden elde edilen hata miktarları için WMSE (ağırlıklandırılmış hata kareleriortalaması) katsayısı hesaplanmıştır.Araştırmadan elde edilen sonuçlara göre, en az hata miktarını ortalama-standartsapma yönteminin verdiği görülmüştür. Bu yöntemi sırasıyla ortalama-ortalama,Stocking-Lord ve Haebara yöntemleri takip etmektedir. Test eşitlemeyöntemlerinden elde edilen sonuçlar incelendiğinde ise her iki yöntem birbirinebenzer sonuçlar vermekle birlikte MTK gözlenen-puan eşitleme yönteminin MTKgerçek-puan eşitleme yönteminden daha az hata miktarına sahip olduğu bulunmuştur.Anahtar kelimeler: Test Eşitleme, Madde Tepki Kuramı, Eşitleme Yöntemleri,Eşitleme Hatası

The objective of this study is to compare test equating methods based on itemresponse theory over real data and to detect the method that gives the least error. Forthis purpose, two booklets selected from PISA 2012 science literacy test (booklet-1and booklet-8) were equated using scale linking (mean-mean, mean-sigma, Stocking-Lord, Haebara) and test equating methods (IRT true-score equating, IRT observedscoreequating), and error rates obtained from various methods were analysed.The research study group consisted of a total of 701 students including 350 studentsanswering booklet-1 and 351 students answering booklet-8. In the study that wascarried out in common-item nonequivalent groups design, there were a total of 33dichotomous scored items including 17 common items in each booklet. For the dataanalysis, firstly item response theory assumptions were tested. At the second stage,item and ability parameters were estimated using two-parameter logistic model(2PLM) via BLOG-MG software. In parameter estimation, EAP (Expected APosteriori) method was used. Then, scale linking process was carried out for fourdifferent methods via STUIRT software. In the final stage, scores obtained from twobooklets were equated with POLYEQUATE software and WMSE (weighted meansquare error) index was calculated for error rates that were obtained from differentmethods.According to the results obtained from the research, it was observed that the leasterror rate was obtained with mean-sigma method. This method was followed bymean-mean, Stocking-Lord and Haebara methods respectively. When the resultsobtained from the test equating methods were analyzed, it was found that, while bothmethods yielded similar results, IRT observed-score equating method gave less ratecompared to IRT true-score equating method.Keywords: Test Equating, Item Response Theory, Equating Methods, Equating Error.