Validating multiple-text reading tasks in foreign language proficiency tests through verbal protocols and eye tracking

Abstract

Bu çalışmanın amacı mevcut dil yeterlilik sınavlarında çoklu metin okuma becerilerini ve stratejilerini test eden soruların, bu becerileri nasıl işlevselleştirmeyi hedeflediğini, bu becerilerin literatürde teorik olarak tanımlanan beceri ve stratejilerle ne derece örtüştüğünü, ve bu becerilerin fiili kullanımının teorik olarak tanımlanan çoklu metin okuma becerilerini yeterli ve doğru bir biçimde kapsayıp kapsamadığını incelemektir. ISE II, MET ve ECCE gibi dil yeterliliğini ölçen sınavlarda bulunan çoklu metin okuma becerilerini ölçmeyi hedefleyen sorular, farklı anadillere sahip 10 öğrenciye uygulanmıştır. Veri, göz hareketi takip teknolojisi, ve ardıl sesli düşünme tekniği aracılığıyla toplanmıştır. Sonuçlar ISE II çoklu metin okuma becerilerini yeterli ve doğru bir biçimde ölçmeyi hedeflemediğini, MET'in beceri tanımları işlevselleştirilebilecek kadar spesifik olmadığını, ve ECCE beceri tanımlarının çoklu metin ölçme becerilerini yeterli ve kapsamlı bir biçimde ölçmeyi hedeflediğini gösteriyor. Ayrıca, çoklu metin okuma becerilerini bu mevcut sınavların nasıl işlevesellerştirdiğine bakıldığında, ISE II ve MET'in, bu becerileri yeterli ve doğru bir biçimde işlevselleştiremediği, ECCE'nin belirli bir ölçüde işlevselleştirdiği gözlemlenmiştir. Bu çalışma ayrıca çoklu metin okuma becerileri sınav ödevleri tasarılarında tavsiyeler de sunmaktadır.

The purpose of this study is to investigate how multiple texts reading skill in tasks in existing English proficiency tests are operationalized, whether the subskills and strategies specified in these exams match the theoretical explanations, and whether the actual use of skills and strategies reflects a sufficient and accurate coverage of theoretically designated multiple texts reading skill. ISE II, MET, and ECCE have been found to include multiple texts reading skill. The tasks purportedly measuring multiple texts reading skill in these proficiency exams were administered to 10 participants of varying nationalities. Data were collected through eye tracking and retrospective think aloud method. The results revealed that ISE II does not attempt to operationalize multiple texts reading skill representatively, while MET specifications are not specific enough on multiple texts reading skill. ECCE specifications shows that this task attempts to operationalize these skills representatively. When it comes to the operationalization of the specified multiple texts reading skill in each task, ISE II and MET do not sufficiently operationalize multiple texts reading skill, while ECCE is found to operationalize these skills to some extent. The findings also have implications for the design of multiple texts reading skill test tasks.