PISA 2006 fen okuryazarlığı testindeki maddelerin yanlılık bakımından araştırılması

Abstract

Bu araştırmada, PISA 2006 fen okuryazarlığı testinin Türk ve ABD uygulamalarının ölçme yapısı bakımından eşdeğerliğini incelemenin yanı sıra, PISA fen okuryazarlığı maddelerinin kültürler arası ve cinsiyete göre yanlılık taşıyıp taşımadığını belirlemek ve olası yanlılık nedenlerini ortaya koymak amaçlanmıştır. Araştırma betimsel bir araştırma olup 757 Türk ve 856 ABD'li öğrencinin verileri ile gerçekleştirilmiştir. Araştırmada kullanılan maddeler ve bunlara ilişkin veriler OECD tarafından öğrenci başarılarını belirlemek amacıyla geliştirilmiş olan PISA 2006 fen okuryazarlığı testinden elde edilmiştir. Araştırma PISA çalışmasında kullanılan 13 test kitapçığından kamuoyuna açıklanmış olan maddelerin tamamının yer aldığı 1 ve 5 numaralı kitapçıklarda yer alan maddeler üzerinden yürütülmüştür.Araştırmada kullanılan testlerin Türk ve ABD gruplarında yapı bakımından eşdeğer olup olmadıklarını belirlemek için verilere açımlayıcı ve doğrulayıcı faktör analizi uygulanmıştır. PISA 2006 fen okuryazarlığı testi maddelerinde olası yanlılık sorgulaması için de Mantel-Haenszel (MH), Simultaneous Item Bias Test (SIBTEST) ve Madde Tepki Kuramı Olabilirlik Oran Analizi (MTK-OOA) yöntemleri kullanılmıştır. Araştırmada her üç yöntemde ortak olarak madde işlev farklılığı (MİF) gösteren maddeler olası yanlı maddeler olarak kabul edilmiş ve sonraki adımda olası yanlılık kaynaklarına ilişkin uzman görüşlerine başvurulmuştur.Analizler sonucunda elde edilen bulgulara göre, fen okuryazarlığı testinde MİF gözlenen madde sayısının 1 nolu kitapçıkta 16 (maddelerin %28'i), 5 nolu kitapçıkta 24 (maddelerin %40'ı) olduğu belirlenmiştir. Bu maddelerin 15'i Türk öğrenciler, 25'i ise ABD'li öğrenciler lehine çalışmıştır. Türkiye'de cinsiyet grupları arasında her üç yöntemle yapılan analiz sonucunda MİF gösteren madde belirlenmemiştir. Yalnızca Mantel-Haenszel ve SIBTEST ile MİF sorgulama yöntemleriyle yapılan analizler sonucunda cinsiyete göre MİF gözlenen maddelerden 4'ü kızlar lehine, 3'ü ise erkekler lehine bulunmuştur. Olası yanlılık kaynağını belirlemek için uzman görüşlerine başvurulması sonucunda Türk ve ABD gruplarına bazı maddelerin içerik ve beceriler açısından avantaj veya dezavantaj sağlamış olabileceği uzmanlarca ifade edilmiştir. Ayrıca betimsel analiz sonuçlarına göre hem Türk ve ABD grupları arasında hem de Türk örnekleminde cinsiyet grupları arasında düşünme süreçlerine, madde formatlarına aşına olma bakımından avantajlı ve dezavantajlı durumların ortaya çıkmış olabileceği sonucuna ulaşılmıştır.

Present study aimes at investigating the equivalance of science literacy items of PISA 2006 according to gender and cross-culture, in terms of structures of Turkish and USA practices and furthermore, finding out possible sources of differantial item functioning (DIF). It is a descriptive research carried out through the data of 757 Turkish and 856 USA Students. 2006 PISA science literacy tests were used as a measurement tool to determine students? achievement. For this purpose, two booklets including all released items were selected.In this study, factor structures of tests were determined via exploratory and confirmatory analyses. Methods like Mantel-Haenzsel Statistics, Simultaneous Item Bias Tests (SIBTEST) and Item Response Theory Likelyhood Ratio were employed in order to determine if science literacy items of PISA 2006 have differatial item functioning.According to the results of the analysis of the three methods, number of the items including DIF was determined as 16 (%28) in Booklet 1, 24 (%40) in Booklet 5. Of those items, 15 were biased in favour of Turkish students and 25 in favour of US students. For Turkish students, there seemed no biased items according to gender in three methods. However, in result of MH and SIBTEST, according to gender of the items including DIF, 4 items favoured the girls, 3 items favoured the men. As result of descriptive analysis to determine the sources of bias, it has been determined that items are biased in cultural aspect. There are differences among groups in respect of gender, thinking process and item format. According to expert opinion, some items have advantages and disadvantages in terms of content and skills in Turkish and U.S. groups.