The effect of raters` prior knowledge of students` proficiency levels on their assessment during oral interviews

Abstract

Bu yarı deneysel çalışma, sözlü mülakatların değerlendirilmesinde notlandırıcı güvenirliğine odaklanarak, olası notlandırıcı önyargısını ve notlandıranların öğrencilerin dil yeterlilik seviyelerini önceden biliyor olmasının verdikleri notlar üzerinde var ise etkilerini araştırmayı amaçlamaktadır. Bu amaç doğrultusunda bu çalışma, çalışmanın uygulandığı Türkiye?deki bir devlet üniversitesinde yabancı dil olarak İngilizce öğreten ve aynı üniversitede sözlü sınavlarda notlandırıcı olarak görev alan 15 okutman ile ön ve son test olarak iki oturumda yürütülmüştür.

This quasi-experimental study, focusing on scorer reliability in oral interview assessments, aims to investigate the possible existence of rater bias and the effect(s), if any, of the raters' prior knowledge of students' proficiency levels on rater scorings. With this aim, the study was carried out in two sessions as pre and post-test with 15 English as a foreign language (EFL) instructors who also perform as raters in the oral assessments at a Turkish state university where the study was conducted.