TIMSS 2007 Fen Bilimleri Testindeki maddelerin dil ve cinsiyet yanlılığı açısından incelenmesi

Abstract

Bu araştırmada, TIMSS 2007 fen bilimleri testinde yer alan maddelerin dil ve cinsiyet yönünden yanlı ölçme yapıp yapmadıklarının belirlenmesi amaçlanmıştır.Madde yanlılığının olası bir göstergesi olan Madde İşlev Farklılaşması'nın (MİF) belirlenmesi için Mantel-Haenszel (MH), Simultaneous Item Bias Test (SIBTEST) ve lojistik regresyon (LR) yöntemleri kullanılmıştır. Yöntemler kullanılarak yapılan analizler sonucunda MİF gösterdiği belirlenen ve araştırmacıların erişime açılmış olan maddeler için, olası yanlılık kaynaklarının belirlenmesi amacıyla uzman görüşü alınmıştır. Araştırmada dile yönelik işlev farklılığı incelenirken Türkiye-İngiltere örneklemleri karşılaştırılmış, cinsiyete yönelik MİF'in belirlenmesi sürecinde Türkiye örneklemi analiz edilmiştir.Araştırma sürecinde TIMSS 2007 uygulamasında kullanılan 14 kitapçık incelenmiş, fen bilimleri başarı puanına göre, tüm kitapçıklar için ortak olan dokuz yetenek grubu oluşturulmuştur. Analizlerde, üç yöntemin tutarlı olarak en az orta düzey (B düzeyi) MİF gösteren maddelerin tek biçimli MİF, yalnızca SIBTEST ve lojistik regresyon yöntemlerinin en az orta düzeyde MİF gösterdiği maddelerin ise tek biçimli olmayan MİF gösterdiği kabul edilmiştir.Araştırma bulgularına göre, 14 kitapçıkta dile yönelik MİF gösteren madde sayısı toplam 19'dur. Farklı kitapçıklarda ortak maddeler bulunmaktadır ve 8 madde birden çok kitapçıkta MİF göstermiştir. Sonuç olarak 11 farklı maddenin dile göre işlev farklılığı gösterdiği tespit edilmiştir. Bu maddelerin yedisi Türk öğrenciler lehine, dördü İngiliz öğrenciler lehine MİF göstermiştir. Uzman görüşleri sonucunda, erişime açılmış MİF gösteren maddelerin tercüme hataları içerdiğine fakat yanlılık göstermediğine kanaat getirilmiştir. Türkiye örnekleminde gerçekleştirilen analizler, cinsiyete yönelik MİF gösteren maddenin bulunmadığını ortaya koymuştur.

The main purpose of the present study was to determine TIMSS 2007 Science Items for potentially biased items in terms of language and gender.To identify Differential Item Functioning (DIF), which is a potential indicator of item bias, Mantel-Haenszel (MH), Simultaneous Item Bias Test (SIBTEST) and logistic regression (LR) methods were utilized. For the items which include DIF and that were released by IEA, expert opinions were taken to identify possible sources of bias. In the present study, Turkish and English samples were compared to clarify language based DIF and Turkish sample was analyzed to identify gender based DIF.During analysis process, each item which was presented in 14 different booklets, was investigated. According to science achievement scores of responder, a nine-level ability groups, which are common for all booklets, were formed. In analyses, it was assumed that, items which were signed as moderate DIF (Level B) or large DIF (Level C) by three methods consistently, included uniform DIF and items which were signed as moderate DIF (Level B) or large DIF (Level C) by only SIBTEST and logistic regression consistently, included non-uniform DIF.Results showed that, total number of the items including DIF in 14 booklets was 19. However, it is known that, different booklets may have common items and 8 of 19 items included DIF in two different booklets. Consequently, it is found that, 11 different items included DIF. Seven of these items were signed as including DIF in favor of Turkish students and four of them were showed DIF in favor of English Students. Expert opinions resulted in that two of the items which showed DIF had translation mistakes and uncertainty, but these were not certain proofs for bias. According to analyses in Turkish sample, there was no item that included DIF in terms of gender.