PISA 2015 okuma becerileri testinin ana dili değişkenine göre ölçme değişmezliğinin incelenmesi

Abstract

Bu çalışmanın amacı Uluslararası Öğrenci Değerlendirme Programı (PISA- 2015) okuma becerileri alt testinde ana dili İngilizce olan ülkeler ve İngilizce olmayan ülkelere göre çeviriden kaynaklanan bir ölçme değişmezliği problemi olup olmadığını araştırmaktır.Araştırmanın amacı doğrultusunda ana dili İngilizce olan ülkelerden Kanada, ABD ve İngiltere; ana dili İngilizce olmayan ülkelerden ise Japonya, Tayland ve Türkiye örneklemleri araştırmaya dahil edilmiştir. Araştırmaya seçilen ülkelerden toplam 64171 öğrenci katılmıştır. PISA 2015 uygulamasında bilgisayar tabanlı test alan ülkelere 66 farklı form hazırlanmıştır. Bu çalışmada Kanada, İngiltere, ABD, Japonya, Tayland ve Türkiye'de ortak olarak uygulanmış ve en çok cevaplanan form olduğu için 41 numaralı form seçilmiştir. Araştırma bu formu alan 1526 kişilik örneklem üzerinden yürütülmüştür. Veri seti ana dili İngilizce olan ülkeler (Kanada, ABD ve İngiltere) ve ana dili İngilizce olmayan ülkelerden (Tayland, Japonya, Türkiye) oluşan iki gruba ayrılmıştır.İlk etapta doğrulayıcı faktör analizi ile ölçme modeli doğrulanmış, madde parametreleri incelenmiş; daha sonra ölçme değişmezliği ikili değişkenlerde çok gruplu ölçme değişmezliği analizi ile test edilmiştir. Madde faktör yükleri ve eşik değerler analize dahil edilen 28 madde için ayrı ayrı serbest bırakılarak söz konusu gruplar bazında BIC (Bayesian Information Criterion) değerleri ve madde parametrelerindeki değişim incelenmiştir. Yapılan analizlerle elde edilen bulgular doğrultusunda, PISA 2015 okuma becerileri testindeki maddelerin yarısından fazlasının ana dili İngilizce olan ve olmayan ülkelere göre eşdeğerliğinde büyük ölçüde sınırlamalar olduğu sonucuna ulaşılmıştır. Dolayısıyla PISA 2015 okuma becerileri testinin dil değişkeni açısından ölçme değişmezliğini tam olarak sağlamadığı, bireylerin bu testten aldıkları puanların ülkeler arası karşılaştırılmasının büyük oranda doğru sonuç vermeyeceği yargısına varılabilir.

The aim of this study is to investigate whether there is a measurement invariance problem arising from translation in the PISA 2015 reading skills subtest compared to native English and non-English countries.Fort the purpose of the study, Canada, the US and the UK as the countries that native speakers of English and Japan, Thailand and Turkey as the non-English speaking countries were included in the study sample. For the two groups which will be composed of native speakers of English and non-native speakers of English, the country averages and computer-based application of the exams in the PISA 2015 reading skills test were taken into consideration. A total of 64171 students from selected countries participated in the study. In PISA 2015, 66 different forms were prepared for countries that received computer-based tests. In this study, data from the 41st form were used given that it was the most frequently used form for Canada, UK, USA, Japan, Thailand and Turkey. The research was conducted on a sample of 1526 people who took this form. Data set was divided into two groups consisting of countries with native and non-native language English. In the first stage, the measurement model was confirmed by confirmatory factor analysis, item parameters were examined, and then the measurement invariance was tested with measurement invariance analysis for binary variables. Item factor loadings and thresholds were released separately for the 28 items included in the analysis, and the BIC (Bayesian Information Criterion) values and the change in item parameters were examined.Based on the findings, it was concluded that more than half of the items in the PISA 2015 reading skills test were not comparable for those of native and non-English speaking countries. Therefore, it can be concluded that the PISA 2015 reading skills test does not fully provide the measurement invariance in terms of language variable and that the comparison of the scores obtained by this test between countries might not provide accurate results.