Investigating the role of computerized assessment and other correlates on students` science performance in Pisa 2015

Abstract

Bu çalışmanın amacı, Uluslararası Öğrenci Değerlendirme Programı (PISA) 2015fen performansı ortalamasındaki düşüşün olası nedenlerini araştırmaktır. PISA, 2015yılına kadar kağıt-kalem testi olarak uygulanıyorken, 2015 yılında ilk kez bilgisayar ortamında uygulanmıştır. İrlanda, Peru, Türkiye ve Katar, ortalama fen performans ve Bilgi ve İletişim Teknolojileri (BİT) puanlarına bağlı olarak temsili ülkeler olarak seçilmiş ve analiz bu ülkeler üzerinden gerçekleştirilmiştir. Öğrenci ve okul düzeyindeki değişkenler kontrol edilerek, iki düzeyli regresyon analizi yapılmıştır. Olası değerler veörneklem ağırlıkları da analize dahil edilmiştir. Analiz sonuçlarına göre, öğrenci ve okul seviyesindeki değişkenler sabit tutulduğunda, Türkiye ve Peru için BİT kaynakları ve fen performans arasında istatiksel olarak anlamlı bir ilişki gözlenirken, Katar ve Irlanda için istatiksel olarak anlamlı bir ilişki gözlenememiştir. Öte yandan, neredeyse öğrenciseviyesindeki tüm değişkenler seçilen dört ülke için istatiksel olarak anlamlı çıkarken, okul seviyesindeki değişkenlerin istatiksel olarak anlamlı oluşu dört ülke için değişiklik göstermiştir. Okullar arası başarı farkı en fazla Türkiye'de olduğu görülmüştür. Genel olarak, okul ve öğrenci seviyelerindeki değişkenler sabit tutulduğunda, düşük BIT kaynaklarına sahip ülkeler için istatiksel olarak anlamlı bir değişken olduğu için, PISA 2015 sınavının bilgisayar tabanlı oluşunun fen performans ortalamasındaki düşüş ile ilişkili olduğu söylenebilir.

The aim of this study is to explore possible reasons for the decline in the Program for International Student Assessment (PISA) 2015 average science scores. Until 2015, the test was paper-based, but in 2015, for the first time, students took the test via computer. The decline was investigated based on data from Qatar, Peru, Turkey and Ireland as these countries represented various science scores and information and communication technologies (ICT) resources. By controlling student- and school-level variables, two-level regression was conducted for the analysis, taking into account plausible values and sample weights. The results indicated that there was a statistically significant positive relationship between ICT resources and science performance for Turkey and Peru, but not for Qatar and Ireland by controlling student- and school- level variables. On the other hand, almost all of the variables related to student characteristics were statistically significant predictors of science performance in these four countries, but significant variables related to school characteristics were different for each country. The science performance difference among schools was larger in Turkey compared to other countries. Overall, it could be concluded that the decrease in the PISA 2015 average science scores could be attributed to the computer based version of PISA as ICT resources were significant predictors for countries with low ICT resources when controlling major student- and school- level variables.