Pısa 2012 okuma becerileri ölçeğinin, uygulama dili doğrultusunda belirlenen ülkeler arasında ölçme değişmezliğinin incelenmesi

Abstract

Araştırmanın amacı, PISA 2012 okuma becerileri testinin farklı ülkeler arasında ölçme değişmezliğinin incelenmesidir. Ülkeler belirlenirken, ölçek dili dikkate alınmıştır. Araştırmada, sırasıyla, aynı dili kullanan ülkeler ve farklı dili kullanan ülkeler arasındaki ölçme değişmezliği incelenmiştir.PISA uygulaması yapılmadan önce ölçekler ilk olarak İngilizce ve Fransızca olarak geliştirilmekte olup, aynı dil formlarının birden fazla ülkede kullanılmasından dolayı, çalışmaya ilk olarak; İngilizce ve Fransızca kitapçıklarının kullanıldığı ülkeler dâhil edilmiştir. İngilizce ve Fransızca dillerinin kullanan ülkeler ayrı ayrı, kendi aralarında incelenmiş olup, İngilizce'nin kullanıldığı ülkeler; Amerika, Avustralya, İngiltere, İrlanda, Kanada, Singapur ve Yeni Zelanda olarak, Fransızca'nın kullanıldığı ülkeler de, Belçika, Fransa, İsviçre, Kanada, Lüksemburg olarak belirlenmiştir. Araştırmaya dâhil edilen bu gruplarla hedef; aynı dilin kullanıldığı ülkeler arasında ölçme değişmezliğinin sağlanıp sağlanmadığının tespit edilmesidir. Bir diğer hedef ise farklı dili kullanan kültürlerin incelenmesi olup; Türkçe kitapçık ile dünya çapında en yaygın konuşulan dillerin (Mandarin, İspanyolca, İngilizce) kitapçıkları karşılaştırılmıştır. Her bir dili temsilen, 2 numaralı kitapçığın uygulandığı, o dilin en çok konuşulduğu ülke seçilmiş ve neticede; çalışmada, Amerika, İspanya, Tayvan-Çin ve Türkiye örneklemleri kullanılmıştır. Bu doğrultuda, çalışmanın genel amacı; PISA 2012 okuduğunu anlama becerisi ölçeğinin faktör yapısının, aynı ya da farklı dillerin konuşulduğu kültürler arası eşitliğinin test edilmesidir.Araştırma, kayıp verilen atılmasıyla, İngilizce konuşan ülkeler grubu için 4390, Fransızca konuşan ülkeler grubu için 1210 ve farklı dilleri konuşan grup için 2668 öğrenci verisiyle ve 2 numaralı kitapçıkta bulunan okuma becerisi ölçeğinde kullanılan 28 maddeyle gerçekleştirilmiştir. İlk aşamada, 28 maddeden oluşan bu modelin yapısı, bütün gruplarda DFA (Doğrulayıcı Faktör Analizi) ile doğrulanmış olup, devamında gruplar arası ölçme değişmezliğinin sağlanıp sağlanmadığını ölçmeye yönelik olarak ÇGDFA (Çok Gruplu Doğrulayıcı Faktör Analizi) yapılmıştır. Analiz sonucunda aşamalı olarak oluşturulan değişmezlik modelleri incelenerek, farklı ülke grupları için farklı sonuçlara ulaşılmıştır. İngilizcenin kullanıldığı gruplar arasında, yapısal faktöriyel değişmezlik sağlanmış, fakat model 2 ve model 3 model daha iyi çalıştığı için ölçme değişmezliğinin sağlanmadığı tespit edilmiştir. Fransızca formun kullanıldığı gruplar da sadece faktör yapıları açısından benzemekte olup model 2 daha iyi çalıştığı için ölçme değişmezliği sağlanamamıştır. Son olarak, farklı dilleri kullanan grupların karşılaştırıldığı analizde de, zayıf faktöriyel değişmezliğin sağlandığı, fakat model 3'ün daha iyi çalışması dolayısıyla, söz konusu gruplar arasında ölçme değişmezliğinin var olmadığı belirlenmiş olup, bu gruplar arasında yapılan karşılaştırmaların anlamlı olmayacağı bulgusuna ulaşılmıştır. PISA 2012 Okuma becerisi ölçeği başarı puanlarının sözü edilen ülkeler arasında karşılaştırılamaz olduğu ve farklılıkların sebebinin öğrenci performansı değil, çeşitli yanlılıklar olabileceği ortaya koyulmuştur.Anahtar Sözcükler: Ölçme değişmezliği, doğrulayıcı faktör analizi, çok gruplu doğrulayıcı faktör analizi

The aim of the study is to examine the measurement invariance of PISA 2012 reading skills test among different countries. When determining countries, the language of scale was taken into consideration. In this study, the measurement invariance between the countries using the same language and the countries using different languages were examined respectively.Before the implementation of the PISA, the scales were first developed in English and French and the same language forms are used in different countries, therefore, firstly, countries where booklets in English and French are used are included in this study. The countries that use the English and French languages have been examined separately among themselves and the countries where English is used are determined as America, Australia, England, Ireland, Canada, Singapore and New Zealand, and the countries where French is used are determined as Belgium, France, Switzerland, Canada and Luxembourg. With these groups included in the research, the target is to determine whether there is measurement invariance between countries where the same language is used. Another objective is to examine cultures using different languages; within this scope the Turkish booklet and the booklets of the most widely spoken languages worldwide (Mandarin, Spanish, English) were compared. Representing each language, the country where the booklet number 2 is applied and where the particular language is used at most is chosen and as a result; in the study, America, Spain, Taiwan-China and Turkey sample were used. In this respect, the general purpose of the study is testing the equality of factor structure of PISA 2012 reading comprehension scale between the countries using the same or different languages.The study was carried out with 4390 student data for the group of English speaking countries, 1210 student group for the French speaking group and 2668 student data for the group speaking different languages and 28 items used in the reading skill scale in booklet 2. In the first stage, the structure of this model consisting of 28 items was confirmed by CFA (Confirmatory Factor Analysis) in all groups, and then, in order to measure whether or not inter-group measurement invariance was achieved, Multi-Group Confirmatory Factor Analysis was performed. As a result of the analysis, the invariance models created in stages were examined and different results were obtained for different country groups. It was found that structural factorial invariance was provided among the groups where English was used, but measurement invariance was not established because model 2 and model 3 models performed better. The groups using the French form are similar only in terms of factor structures and since the model 2 performed better, the measurement invariance could not be confirmed. Finally, in the analysis comparing the groups using different languages, it was found that weak factorial invariance was established, but due to the better performance of model 3, there was no measurement invariance between these groups and the comparisons between these groups were not significant. It has been demonstrated that PISA 2012 achievement scores of the reading skill scale are incomparable among the countries mentioned and that the differences may be caused by various biases rather than student performance.Keywords: Measurement invariance, confirmatory factor analysis, multi-group confirmatory factor analysis