Assessing academic writing skills in Turkish as a foreign language

Abstract

Bu çalışmanın amacı, Türkçeyi yabancı dil olarak öğrenenler için yeni geliştirilen yazma sınavının geçerliliğine farklı yönlerden kanıt sunmaktır. Çalışma, Weir'in (2005) sosyo-bilişsel çerçevesini temel alarak puanlama, bilişsel ve bağlamsal geçerliliği yönlerinden sınavın geçerliliğine kanıt sağlamıştır. Yazma testinin amacı Boğaziçi Üniversitesi'ne gelen yabancı öğrencilerin akademik yazma yeterliliklerini ölçmektir. Bu sebeple, Avrupa Ortak Dil Çerçevesi (CEFR, Council of Europe, 2001) seviye tanımlayıcılarından yararlanarak iki farklı yazma görevi geliştirildi – grafik yorumu ve düz yazı. Bu görevler, Boğaziçi Üniversitesi orta ve ileri seviye yabancılara Türkçe derslerine (TKF) kayıtlı 47 öğrenciye uygulandı. Elde edilen puanlar, sınavların zorluğunu, değerlendirme ölçeğinin yeterliliğini ve olası değerlendiren etkilerini incelemek amacıyla çok yönlü Rasch ölçüm modeli (MFRM) kullanılarak analiz edildi. Sınav puanlarının güvenilirliğini ölçmek için Genellenebilirlik kuramı da kullanıldı. Testte kullanılan iki farklı sınav görevinin öğrenci performansı üzerindeki etkisini incelemek için ise, elde edilen sınav puanlarının incelenmesinin yanı sıra, bu sınav görevleri bilişsel ve dilbilimsel özelliklerindeki farklılıkları açısından nitel olarak incelendi. Bu incelemelerden elde edilen bulgular, yabancılar için geliştirilen Türkçe yazma testinin geçerliliği konusunda önemli kanıtlar sunmuştur. Bu çalışma, ayrıca iki tür sınav görevinin öğrencilerin performanslarında yapabileceği farklı etkiler konusunun altını çizmiş ve bunun nedenleri üzerine açıklayıcı bir tartışma sunmuştur.

The purpose of this study is to present validity evidence from multiple perspectives for the newly developed test of writing for learners of Turkish as a Foreign Language (TFL). Following Weir's (2005) socio-cognitive framework, the study provides evidence for scoring validity along with cognitive and context validity aspects of the TFL writing test. The test aims to assess academic writing proficiency of foreign students, mostly Exchange and Erasmus, at Boğaziçi University. Two different task types – graph interpretation and essay tasks – were developed drawing on the level descriptors of the Common European Framework of Reference (Council of Europe, 2001). The test was administered to 47 students registered in intermediate and advanced Turkish for Foreigners classes (TKF) at Boğaziçi University. The test scores were analyzed through many-facet Rasch measurement model (MFRM) to investigate task difficulty, rating scale effectiveness and possible involvement of rater effects. Generalizability theory analysis was also carried out to investigate dependability of test scores. The two task types were also analyzed qualitatively to examine differing cognitive and linguistic demands placed by the tasks along with a posteriori analysis of the test scores to examine the effect of the task types on student performance. The findings from these analyses provided substantial support for the validity of the TFL writing test. The study also highlighted the possible differential effects of two task types on the performance of test takers and provided explanatory discussion as to the reasons of this.