Comparing L2 learners` strategy use in literal vs. inferential reading: A Cognitive validity study through eye - tracking

Abstract

Dilde ölçme ve değerlendirmede bir testin geçerlilik ölçümünde doğal okuma ortamında gerçekleştirilen bilişsel davranışların test ortamında gerçekleştirilenlerle eşleşmesi temeldir. Bu sebeple, okuma becerilerini ölçmek için hazırlanmış bir dil testinin geçerliliğinin onanması için testi alan öğrencilerden farklı seviyelerdeki bilişsel davranışları sergilemeleri beklenmektedir ve dolayısıyla bu süreçlerin dikkatlice incelenmesi gerekliliği kendini göstermektedir. Bu da standart bir okuma testindeki metin odaklı ve çıkarsama odaklı soru türlerinin cevaplanması esnasında kaydedilen göz hareketlerini ve gerçekleştirilen bilişsel davranışları incelemeyi hedefleyen bir araştırmayı gerekli kılmıştır. Hedeflenen sonuca ulaşmak amacıyla katılımcıların farklı hedef ilgi alanlarındaki göz hareketleri ve bu hareketlerin örüntüleri, diğer tekniklere üstünlüğü düşünülerek göz hareketlerini izleme yöntemi ile detaylıca incelenmiştir. Araştırma sonuçları, yetkin okuyucuların gerçekleştirdikleri bilişsel süreçlerde farklılıklar olmadığını göstermiştir. Ayrıca, kullanılan testin bilişsel geçerliliğini doğrulayarak metin odaklı ve çıkarsama odaklı soruların cevaplanması sırasında göz hareketlerinin bazı hedef ilgi alanlarında istatistiksel olarak anlamlı bir farklılık gösterdiği, ancak bu farklılığın diğer alanlarda oluşmadığı gözlemlenmiştir. Göz hareketlerini izleme yöntemini kullanarak ikinci dilde okuma sürecinde gerçekleşen bilişsel süreçlerde bulgulama yapan ve testin bilişsel geçerliliğini sorgulayan eğitim araştırmalarının sayıca azlığı, bu araştırmanın metodolijisinin ve keşifsel sonuçlarının önemini vurgulamaktadır.

In language testing, a test's cognitive validity is assessed in terms of the match between cognitive processes elicited from a reader and the processes which a test taker would use in non-test conditions. A reading test should require readers to go through levels of comprehension for enhanced cognitive validity. Herein, the importance of careful examination of the cognitive processes of readers taking a reading test should be examined closely. As such, this study was motivated by the need to determine if eye movements could provide valuable information about test takers' cognitive processes as they answer literal and inferential questions in a standardized reading test. To this end, the participants' eye movements in interest areas were analyzed in detail using eye-tracking methodology considering its precedence over other techniques. Results of the study displayed that eye movements of competent and experienced readers do not differ showing they go through similar cognitive processes. Also, it was seen that there is a significant difference in the eye movements in certain interest areas but not in others while answering literal vs. inferential questions depending on going through levels of comprehension and using variety of reading strategies, substantiating the cognitive validity of the test. This study is important in terms of its exploratory findings and methodology as only a few studies in educational research examine cognitive processing and validity in second language through eye-tracking.