PISA 2015 fen okuryazarlığı testinin değişen madde fonksiyonu açısından incelenmesi

Abstract

Bu araştırmada, PISA 2015 uygulaması Türkiye örnekleminde Fen okuryazarlığı testinde yer alan maddelerin cinsiyete, sosyoekonomik düzeye ve okulun bulunduğu yerleşim bölgesine göre Değişen Madde Fonksiyonu (DMF) gösterip göstermediği incelenmiştir. DMF analizinde, Mantel Haenszel (MH) ve Lojistik Regresyon (LR) yöntemleri kullanılmış ve ardından bu iki yöntemden elde edilen sonuçlar arasındaki ilişki incelenmiştir.Bu araştırmada kullanılan cinsiyet değişkeni ile sosyoekonomik düzey değişkenlerine ait veriler öğrenci ölçeğinden elde edilirken, okulun bulunduğu yerleşim bölgesi değişkenine ait veriler okul ölçeğinden elde edilmiştir. Araştırma PISA 2015 uygulamasında yer alan 32, 41, 44, 53, 56, 65, 68, 77, 80, 89 ve 92 nolu kitapçıklardaki ortak 35 soruya cevap veren 170 öğrencinin verileri ile yürütülmüştür. DMF analizinden önce grubun dağılımının genel özelliklerinin belirlenebilmesi için grubun tamamına ve diğer değişkenlerin alt gruplarına betimsel istatistikler uygulanarak genel özellikleri belirlenmiştir. Cinsiyet değişkenine göre yürütülen DMF analizleri sonucunda MH ve LR yöntemlerinde farklı birer maddenin DMF gösterdiği tespit edilmiştir. MH yöntemiyle DMF gösterdiği tespit edilen maddenin kızlar lehine çalıştığı belirlenmiştir.Sosyoekonomik düzey değişkenine göre yürütülen DMF analizleri sonucunda MH yönteminde üç madde DMF gösterirken LR yönteminde ise 5 madde DMF göstermiştir. Her iki yöntemde de DMF gösteren iki maddenin düşük sosyoekonomik düzeye sahip öğrenciler lehine çalıştığı belirlenmiştir.Okulun bulunduğu yerleşim bölgesi değişkenine göre yürütülen DMF analizlerinden ilçede bulunan okul ile şehirde bulunan okul analizinde MH ve LR yöntemlerinde aynı iki madde DMF göstermiştir. Her iki yöntemde de DMF gösteren bu iki maddenin bir tanesinin okulun bulunduğu yerleşim bölgesi şehirde olan öğrenciler lehine, diğerinin ise okulun bulunduğu yerleşim bölgesi ilçede olan öğrenciler lehine çalıştığı belirlenmiştir. İlçede bulunan okul ile büyükşehirde bulunan okul analizinde MH yönteminde bir madde DMF gösterirken LR yönteminde iki madde DMF göstermiştir. MH yönteminde DMF gösteren madde aynı zamanda LR yönteminde de DMF gösterirken okulun bulunduğu yerleşim bölgesi büyükşehirde olan öğrenciler lehine çalıştığı belirlenmiştir. Şehirde bulunan okul ile büyükşehirde bulunan okul analizinde MH yönteminde DMF gösteren madde tespit edilmezken LR yönteminde altı madde DMF göstermiştir. MH ve LR yöntemleri, DMF gösteren madde sayısı bakımından incelendiğinde iki yöntemin farklı sonuçlar elde ettiği ve LR yönteminin daha fazla sayıda madde belirlediği görülmüştür. Genel olarak DMF büyüklük sıralamaları arasında ise iki yöntem arasında pozitif ve orta düzeyde ilişki tespit edilmiştir.

In this study, it was investigated whether the items included in the PISA 2015 Science Literacy test show Differential Item Function (DIF) in terms of gender, the residential area of the school and socioeconomic level. In DIF analysis, Mantel Haenszel (MH) and Logistic Regression (LR) methods were used and then the correlation between the results from these two methods were examined.The data of gender and socioeconomic level variables used in this study were obtained from the student's questionnaire while the data of the residential area of the school variable was obtained from the school questionnaire. The study was carried out with data from 170 students who answered 35 common questions in booklets 32, 41, 44, 53, 56, 65, 68, 77, 80, 89 and 92 in the PISA 2015 application. In order to determine the general characteristics of the distribution of the group before DIF analysis, general characteristics were determined by applying descriptive statistics to the whole group and the subgroups of other variables.As a result of the DIF analysis conducted according to gender variable, it was determined that different items showed DIF in MH and LR methods. The item found to show DIF by MH method was found to work in favor of girls.As a result of the DIF analysis conducted according to socioeconomic level variable, three items demonstrated DIF in MH method and five items demonstrated DIF in LR method. In both methods, it was determined that the two items showing DIF worked in favor of students with a low socioeconomic level.As a result of the DIF analysis conducted according to the residential area of the school variable, the school in the county and the school in the city were analyzed. The same two items demonstrated DIF in both MH and LR methods. In both methods, it was determined that one of these two items showing DIF works in favor of students who are in the city of the residential area where the school is located, while the other works in favor of students who are in the county. In the analysis of the school in the county and the metropolis, one item showed DIF in MH method and two items showed DIF in LR method. It was determined that the item that showed DIF in MH method also showed DIF in LR method and it worked in favor of the students in the metropolis where the school is located. In the analysis of the school in the city and the school in the metropolis, while six items showed DIF in LR method, no item did not show DIF in MH method.When MH and LR methods were examined in terms of the number of items showing DIF, it was seen that the two methods had different results and LR method determined a higher number of items showing DIF. In general, a positive and moderate correlation between DMF size rankings between the two methods were determined.