Language assessment literacy of Turkish efl instructors: A multiple-case study

Abstract

Ölçme değerlendirme alanıyla ilgili yapılan çalışmalarda yabancı dilde ölçme değerlendirme okuryazarlığı giderek artan bir şekilde önemli hale gelmiştir; ancak yapılan çalışmalar, ölçme değerlendirme okuryazarlığının yabancı dil öğretmenleri tarafından sınıflarında nasıl uygulandığına çok fazla odaklanmamışlardır. Bu yüzden bu çalışma, yabancı dilde ölçme değerlendirme okuryazarlığının sınıfta nasıl uygulandığını açıklamayı amaçlamaktadır. Çalışma, bir Türk üniversitesinde çalışan sekiz Türk İngilizce okutmanı ile gerçekleştirilmiştir. Araştırma deseni olarak çoklu durum çalışması kullanılmıştır. Veriler; bireysel görüşmeler, sesli düşünme, gözlemler, odak grup çalışması ve doküman analizi ile toplanmıştır. Çalışmanın inandırıcılığı arttırmak için üçgenleme, yoğun anlatım gibi yöntemler kullanılmıştır. Toplanan veriler, içerik analizi kullanarak analiz edilmiştir. Bulgulara göre katılımcıların, ölçme değerlendirme faaliyetlerinde eleştirel bir tutum sergiledikleri görülmüştür. Eğitim fakültelerinden mezun olan katılımcıların ölçme değerlendirme faaliyetlerinde aldıkları ölçme değerlendirme dersinin etkili olduğu görülürken farklı fakültelerden mezun olarak formasyon alan katılımcılarda bu tür eğitimlerin etkili olmadığı görülmüştür. Katılımcıların ölçme değerlendirmede kendilerini deneyimleyerek geliştirdikleri tespit edilmiştir. Katılımcıların geçerlik, güvenirlik ve ölçmede hata gibi temel kavramlarla ilgili olarak kendi tanımlarını geliştirdikleri ve bu tanımlara göre çeşitli teknikler kullanarak sınavlarını geçerli ve güvenilir yapmaya çalıştıkları görülmüştür. Katılımcıların; geçerlik anlayışlarının kullandıkları ders kitaplarıyla sıkı bir şekilde bağlantılı olduğu, kapsam geçerliğini ön planda tuttukları ve kapsam geçerliliğinin güvenirlik anlayışlarıyla sıkı sıkıya bağlı olduğu bulunmuştur. Öğrenci sayısının fazlalığı, iş yüklerinin ağır olması gibi durumların ölçme değerlendirme okuryazarlığının yedi alt yeterliliğini etkilediği bulunmuştur. Ayrıca bazı katılımcıların, sahip oldukları deneyime ve eğitim – öğretim anlayışına göre ölçme değerlendirmede inisiyatif alarak diğer katılımcılarından farklılaştığı görülmüştür. Çalışmanın son kısmında çalışmada elde edilen sonuçların, yabancı dilde ölçme değerlendirme eğitimlerinin geliştirilmesindeki muhtemel katkılarına değinilmiştir.

Language assessment literacy has become increasingly important in the studies made on assessment and evaluation; however, those studies have not focused on how language assessment literacy is implemented by language teachers in their language classes. Therefore, the present study aimed at explaining how language assessment literacy is implemented in language classes. The study was made with eight Turkish instructors working at a Turkish university and teaching English as a foreign language (EFL). A multiple-case study research design was used in the study. Data were collected with individual interviews, think-aloud protocol, observations, focus group discussion and document analysis. To increase the trustworthiness of the study, several techniques including triangulation and thick description were used. The collected data were content-analyzed. According to the findings of the study, the participants were found to have a critical attitude toward assessment and evaluation. It was understood that pre-service assessment training was effective in the assessment and evaluation practices of the participants graduating from faculty of education, while such training was ineffective in the assessment and evaluation practices of the others graduating from different faculties. The participants were found to have improved themselves in language assessment and evaluation by gaining experience. The findings have also indicated that the participants developed their own definitions of the basic assessment concepts like validity, reliability and measurement error and tried to make their exams valid and reliable by using the techniques depending on their definitions. In addition, the findings have shown that the participants' understanding of validity was closely related to their course books, they paid more attention to content validity and their understanding of reliability was closely related to content validity. The factors like the number of the students and workload were revealed to affect the seven sub-components of language assessment literacy. Besides, some participants were found to differentiate from the others as they took initiative depending on their experience and teaching approach. In the last part of the study, how the results could contribute to the development of language assessment training was mentioned.