Comparison of two essay scoring methods: A case study

Abstract

Bu çalışmanın başlıca amacı Bilkent Üniversitesi İngilizce yeterlik sınavının yazma bölümünün notlandırılmasında kullanılan bütünsel ve çözümsel yöntemlerin, güvenilirlik ve geçerlilik açısından bir farklarının olup olmadığını araştırmaktır. Bunun için, Eylül 1995 yeterlik sınavında yazılmış ve kurum tarafından bütünsel yöntemle notlandırılmış olan 90 öğrenci kompozisyonu bir kez de çözümsel yöntemle notlandırılmıştır. Elde edilen notlar arasında yapılan korelasyon çalışmaları sonucunda her iki yöntemin de okuyucular arası güvenilirliği hesaplanmıştır. Eşzamanlı geçerliliği hesaplamak amacıyla, öğrencilerin sınavın İngilizceyi Kullanma bölümünden ve sınavın tümünden aldıkları notlarla yazma bölümünden her iki yöntemle aldıkları notlar arasında korelasyon çalışmaları yapılmıştır. Anahtar Kelimeler: Yazma yeteneklerinin Sınanması, Notlandırma Yöntemleri, Bütünsel Notlandırma, Çözümsel Notlandırma, Okuyucular Arası Güvenilirlik, Eşzamanlı Geçerlilik.

This study, primarily, aims to examine whether there is any difference between two types of essay scoring methods, namely, holistic and analytic, used to mark the writing component of the BUSEL COPE (Bilkent University School of English Language Certificate of Proficiency in English) exam, in terms of reliability and validity. In order to do this, 90 student essays written at September COPE 1995, which were already graded by trained markers using holistic method, were graded again using analytical method. The grades were then correlated within each other to compute the inter-scorer reliability of each method. The total average grades of each method were also correlated with Use of English component of the COPE exam and the overall total grades obtained by the students for concurrent validity. Keywords: Testing Writing Skills, Grading Methods, Holistic Scoring, Analytic Scoring, Inter-scorer Reliability, Concurrent Validity m