PISA 2009 okuma becerileri testi maddelerinin yanlılık açısından Türkiye, Amerika Birleşik Devletleri ve Birleşik Krallık uygulamalarında karşılaştırılması

Abstract

Bu araştırmanın amacı, PISA 2009 okuma becerileri testinde kullanılan maddelerin Türkiye-ABD, Türkiye-Birleşik Krallık, ABD-Birleşik Krallık grupları arasında DMF gösterip göstermediğinin incelenmesi, maddelerin olası yanlılık nedenlerinin belirlenmesidir. Bu bağlamda, MH, SIBTEST, MTK temelli MTK-OO ve b parametrelerinin karşılaştırılması yöntemleri kullanılmıştır. Araştırma grubunu, PISA 2009 okuma becerileri testinde dört ve altı numaralı kitapçıkları yanıtlayan Türk öğrenci grubundaki 767, ABD öğrenci grubundaki 796, Birleşik Krallık öğrenci grubundaki 765 öğrenci oluşturmaktadır. DMF belirleme yöntemlerine göre gruplararası DMF gösteren maddelerin, yöntem, madde formatı, metin türü, okurun metne yaklaşımı ve avantaj sağladığı gruba göre dağılımları incelenmiştir. Elde edilen sonuçlara göre, Türk ve ABD?li, Türk ve Birleşik Krallık?taki öğrenci grupları arasında en az altı numaralı kitapçıkta (%31 ve %33) en fazla ise dört numaralı kitapçıkta (%36 ve %49) DMF içeren madde bulunduğunu, DMF içeren maddelerin odak ve referans gruplar arasında dağılımının yaklaşık olarak eşit dağıldığı belirlenmiştir. Madde formatı açısından incelendiğinde, referans grubun lehine gösteren maddelerin çoğunlukla açık uçlu olduğu saptanmıştır. Ayrıca, metne yaklaşım açısından incelendiğinde, çoğunlukla ?bilgiyi bir araya getirme ve yorumlama? yaklaşımına göre geliştirilmiş maddelerin ve metin türü açısından, akıcı metinlerin çoğunlukla referans grubun lehine olduğu saptanmıştır. DMF gösteren maddelerin, sözcüklerin güç anlaşılması, madde formatına aşina olma durumu, çeviri hataları ve kültürel farklılıklardan kaynaklandığı yönünde uzmanlar tarafından ortak görüş bildirilmiştir. Kullanılan DMF belirleme yöntemleri açısından incelendiğinde, SIBTEST ve MTK temelli analizlerin birbirleriyle paralellik gösterdiği, MH yönteminin ise diğer yöntemlere kıyasla daha az sayıda DMF?li madde saptadığı sonucuna ulaşılmıştır.Anahtar Sözcükler: Değişen Madde Fonksiyonu, PISA 2009, Mantel Haenszel, SIBTEST, Madde Tepki Kuramı-Olabilirlik Oran, b parametreleri.

The aim of this research is to determine the items indicating differential item functioning (DIF) and its possible sources of bias among Turkey, United States of America (USA) and the United Kingdom (UK) in PISA 2009 reading literacy test. In this context, the methods of Mantel Haenszel (MH), Simultaneous Item Bias Test (SIBTEST), Item Response Theory Likelihood Ratio (IRTLR) and comparison of b parametres have been used. The research group involves 767 pupils from Turkey, 796 pupils from USA and 765 pupils from the UK who answered the questions in Booklet 4 and Booklet 6 of PISA 2009 Reading Test. The distributions of between-groups items indicating DIF in accordance with the DIF method have been investigated with regards to DIF method, item format, text type, aspect and the advantageous group. The results indicate that there are less items with DIF in Booklet 6 (31% and 33%) and there are more items with DIF in Booklet 4 (36% and 49%) between Turkey and USA, Turkey and the UK. Also, the distribution of items with DIF is nearly equal between reference and focal groups. In the context of item format, it has been determined that the items being in favour of reference groups are open-ended. Besides, from the point of text analysis, the items developed with ?integrate and interpret? aspect and ?continuous? texts with regards to text type are mostly also in favour of reference groups. The sources of bias have been identified as hardly understood, being familiar with item format, translation errors and cultural differences by the experts. In terms of DIF methods, SIBTEST and IRT based analyses? results are similar; whereas MH indicates less items with DIF in comparison with other methods.Keywords: Differential Item Functioning, PISA 2009, Mantel Haenszel, SIBTEST, IRT-LR, b parametres.