2016 lisans yerleştirme sınavı İngilizce testinin madde yanlılığı açısından incelenmesi

Abstract

Bu çalışmanın amacı, 2016 Lisans Yerleştirme Sınavı (LYS) İngilizce testindeki maddelerin cinsiyet ve okul türüne göre değişen madde fonksiyonu (DMF) ve değişen madde grubu fonksiyonu (DMGF) gösterip göstermediğini belirlemek ve DMF gösteren maddelerin olası yanlılık nedenlerini araştırmaktır. DMF analizleri için Mantel Haenszel (MH), SIBTEST ve MIMIC yöntemleri kullanılmıştır. DMGF analizleri ise SIBTEST ve MIMIC yöntemleriyle gerçekleştirilmiştir. DMF gösteren maddelerin yanlılık nedenlerine karar vermek amacıyla uzman görüşüne başvurulmuştur. Çalışmanın veri seti 59818 adayın 2016 LYS İngilizce testine verdikleri cevaplardan oluşmaktadır. İngilizce testinde yer alan 60 madde üzerinden yürütülen analizler sonucunda çeviri alt testinde bir maddenin erkek adaylar lehine DMF içerdiği görülmüştür. Okul türü için adayların mezun oldukları okullar meslek lisesi, Anadolu lisesi, imam hatip lisesi ve özel lise olmak üzere dört başlık altında toplanmıştır. Okul türüne göre yapılan analizlerde sözcük bilgisi ve dil bilgisi alt testinde dokuz, okuduğunu anlama alt testinde altı ve çeviri alt testinde dört maddenin DMF gösterdiği sonucuna ulaşılmıştır. Uzmanlar cinsiyete göre DMF gösteren bir maddenin yanlı olmadığını belirtmişlerdir. Okul türüne göre DMF gösteren on dokuz maddenin on üçünde ise yanlılığa dair kanıtlar bulunmuştur. DMGF analizleri sonuçlarına göre 2016 LYS İngilizce testinde yer alan bazı madde gruplarının cinsiyete ve okul türüne göre anlamlı büyüklükte DMGF içerdiği tespit edilmiştir. Araştırma sonucunda DMF analizlerinde kullanılan yöntemlerin belirledikleri DMF'li madde sayılarında ve maddelerin DMF düzeylerinde farklılıkların olduğu ancak üç yöntemin tek biçimli DMF belirlemede uyumlu olduğu görülmüştür. Okul türüne göre DMF gösteren madde sayısının cinsiyete göre DMF gösteren madde sayısından fazla olmasının okul türleri arasındaki ciddi farklardan kaynaklandığı düşünülmüştür. Anahtar sözcükler: Lisans Yerleştirme Sınavı, değişen madde fonksiyonu, değişen madde grubu fonksiyonu, madde yanlılığı, MIMIC

The purpose of this study is to determine whether items of English test of Undergraduate Placement Exam (UPE) in 2016 include differential item functioning (DIF) and differential bundle functioning (DBF) in terms of gender and school type and examine the possible sources of bias of DIF items. Mantel Haenszel (MH), Simultaneous Item Bias Test (SIBTEST) and Multiple Indicator and Multiple Causes (MIMIC) methods were used for DIF analyses. DBF analyses were conducted by MIMIC and SIBTEST methods. Expert opinions were consulted to determine the reasons of bias in items showing DIF. Data set of the study consisted of responses of 59818 candidates to 2016 UPE English test. As a result of the analyses carried out on 60 items in English test, it was seen that one item in translation subtest contained DIF in favor of male candidates. For school types, schools that the candidates graduated were gathered under four headings as vocational high school, Anatolian high school, religious vocational high school and private high school. In school type based analyses, it was concluded that there were nine DIF items in vocabulary and grammar knowledge subtest, six DIF items in reading comprehension subtest and four DIF items in translation subtest. Experts stated that one item containing DIF by gender was not biased and evidence of bias was found in thirteen of nineteen items that included DIF by school type. According to DBF analyses, it was found that some item bundles contained DBF with respect to gender and school type. As a result of this research, it was discovered that there were differences with regard to the number of DIF items identified by three methods and the level of DIF that the items included; however, methods were consistent in detecting uniform DIF. The reason why the number of DIF items by school type was higher than the number of DIF items by gender was considered to be the serious gap between schools.Keywords: Undergraduate placement exam, differential item functioning, differential bundle functioning, item bias, MIMIC