TEOG sınavının yabancı dil alt testine ait maddelerin yanlılığının incelenmesi

Abstract

Bu çalışmada, TEOG 2015 - 2016 Eğitim - Öğretim Yılı II. Dönem İngilizce alt testine ait maddeler, öğrencilerin cinsiyet ve öğrenim gördüğü okul türüne (özel-devlet) göre değişen madde fonksiyonu açısından incelenmiştir. Değişen madde fonksiyonu tespit edilen maddeler yanlılık gösterip göstermediğinin belirlenmesi amacıyla uzman görüşüne sunulmuştur. Araştırmanın Değişen Madde Fonksiyonlaşması (DMF) analizi aşamasında Mantel-Haenszel (MH), Lojistik Regresyon (LR) ve SIBTEST yöntemleri kullanılmıştır. Analizler için kullanılan veri seti, İngilizce alt testi maddelerine cevap veren 1.133.857 sekinci sınıf öğrencisinden rastgele seçilerek oluşturulan 9.108 öğrencinin 20 maddelik test için verdiği cevapları kapsamaktadır. DMF analizi öncesinde İngilizce alt testinin tek boyutluluğu incelenmiş ve cinsiyet ve okul türü değişkenine göre oluşturulan her alt teste ait betimsel istatistikler, güvenirlik analizleri ve madde istatistikleri hesaplanmıştır. DMF analizi aşamasında ise önce cinsiyete göre analizler gerçekleştirilmiş olup 5, 9, 11 ve 16 numaralı maddelerin B (orta) düzeyinde DMF gösterdiği tespit edilmiştir. Bu maddelerden 5 numaralı olan sadece SIBTEST, 9 ve 11 numaralı olanlar hem MH hem SIBTEST ve 16 numaralı maddenin ise sadece MH yöntemine göre DMF gösterdiği belirlenmiştir. Bu maddeleri yanlılık özelliği bakımından yorumlayan uzmanlar, sadece 11 numaralı maddenin erkekler lehine avantaj sağlayabileceğini belirtmiştir. Okul türü değişkenine göre yapılan analizlere göre de sadece 4 numaralı maddede MH ve SIBTEST yöntemlerine göre B (orta) düzeyinde DMF tespit edilmiştir. Bu madde hakkında uzmanların yorumu ise maddenin özel okul öğrencileri lehine avantaj sağladığı yönündedir. Analiz yöntemlerinin uyumu incelendiğinde ise hesaplanan spearman rho katsayısına göre MH ve SIBTEST yöntemlerinin birbiriyle uyumunun yüksek, LR yöntemi ile uyumunun ise düşük olduğu sonucuna ulaşılmıştır.Anahtar sözcükler: TEOG, değişen madde fonksiyonu, madde yanlılığı, Mantel Haenszel yöntemi, Lojistik Regresyon yöntemi, SIBTEST yöntemi

In this study, differential functioning items according to gender and school type (private vs public) in English subtest of TEOG in 2015 – 2016 Academic Year Spring Semester were investigated. Expert opinions were sought for the items, that were found as showing differential item functioning, in order to determine whether there was an item bias. Mantel-Haenszel (MH), Logistic Regression (LR) and SIBTEST methods were used in the study of the Differential Item Functioning (DMF) analysis. The data includes the answers in 20 items English test given by 9108 8th grade students randomly selected from total 1133857 students. Before the analysis, the unidimensionality of the English subtest was examined. Then, descriptive statistics, reliability analyzes and item statistics were calculated for each subtest created according to gender and type of school. In the DMF analysis, firstly gender-based analyzes were carried out and it was revealed that items 5, 9, 11 and 16 differed at B (medium) level. Among these items, item 5 showed DIF in only SIBTEST, item 9 and 11 showed DIF in both MH and SIBTEST, and item 16 showed DIF in only MH. Based on expert opinions, it was decided that only item 11 might show bias in favor of male students. According to the analysis made based on school type variable, only item 4 was determined as showing B level DMF in both MH and SIBTEST methods. Experts opinions on this item indicated that this item might show bias in favor of private school students.Keywords: TEOG, differential item functioning, item bias, Mantel Haenszel method, Lojistik Regresyon method, SIBTEST method