Washback and instructional sensitivity of a theme-based high-stakes English language proficiency test

Abstract

Bu çalışmanın amacı Türkiye'de üniversite seviyesinde uygulanan yerel ve bir temaya odaklanan bütünleştirilmiş bir Ingilizce Dil sınavının potansiyel geriye dönük etkisini, öğretimsel etkisini ve sonuç geçerliğini incelemektir. Araştırma sonucunun akademik amaçlı İngilizce bağlamında bütünleştirilmiş dil sınavları uygulanması için daha iyi bir kavramsal anlayış sağlayacağı umulmaktadır. Bu çalışma bütünleştirilmiş dil sınavlarının öğrencilerden gerçek öğrenim hayatlarında onlardan beklenilen akademik becerileri yansıttığı için onların başarılarına olumlu geri dönük etkisi olabileceği varsayımını araştırmayı amaçlamaktadır. geliştirmek ve değerlendirmektir. Çalışma, geriye dönük etki ve sonuç geçerliliği olmak üzere iki bölümden oluşmaktadır. Çalışmanın geriye dönük sınav etkileri ve öğretimsel etkileri araştıan ilk bölümünde, veriler katılımcıların bu konudaki algıları ile ilgili nicel veriler anket, yarı yapılandırılmış röportaj ve sınıf gözlemi yöntemiyle elde edilmiştir. Nitel veriler hazırlık sınıfı öğrencilerinin dil yeterlilik sınavı ön-test ve son-test sonuçlarından elde edilmiştir. 21 Hazırlık Programı dil eğitmeni ve 147 ortanın üstü ve ileri düzey Hazırlık Programı öğrencisi katılmıştır. Sonuç geçerliliğini araştıran ikinci bölümde ise katılımcılardan yarı yapılandırılmış röportaj ve anket yolu ile bilgi toplanmıştır. Bu bölüm için hazırlık programını bitirip bölüme geçen 39 birinci sınıf öğrencisinden ve onların bölümde ders aldıkları 19 universite hocasından bilgi toplanmıştır. Çalışma dil sınavının olumlu ve olumsuz geriye dönük etkileri olduğunu ortaya çıkarmıştır. Çalışmanın bulguları dil Hazırlık Programı geliştirme ve değerlendirmeye ve öğretmen eğitimine yönelik önemli sonuçlar ortaya koymuştur.Anahtar Kelimeler: geriye dönük etki, öğretimsel etki, sonuç geçerliği, bütünleştirilmiş dil sınavı, tema-odaklı dil sınavı

The purpose of this study is to examine the potential washback effect, instructional sensitivityand consequential validity of a local theme-based high-stakes English language proficiency test that is implemented in tertiary education in a Turkish context and reach a better understanding of construct of integrated language assessment tasks in an EAP context. The study aimed at exploring the validity of the assumption that employing an integrated theme-based test of English language proficiency, which is similar to authentic language use in the tertiary education context in Turkey, would bring about a positive test influence upon learning. The study comprised of two parts and for the first part of the research study which examined washback and instructional sensitivity of TRACE, 21 language instructors teaching at the upper-intermediate and advanced level in the Preparatory English Program and 147 EFL students participated in the study. As for the second part of the study which investigated viability of test decisions over time, 39 freshman students in mainstream courses and 19 university instructors who offered courses in the departments participated in the study. A mixed-method research design was adopted. Thus, both qualitative and quantitative data were obtained through questionnaires, semi-structured interviews related to the perceptions of the students and the teachers, classroom observations and the pre- and post-proficiency exam scores of the preparatory students. The study mainly found that the test exerted positive and negative effects on teaching and learning. The findings of the study revealed significant implications with respect to the ELT teachers, teacher trainers and test designers.Key words: washback, instructional sensitivity, consequential validity, theme-based language proficiency test, integrated language proficiency test