The impact of rating methods and rater training on the variability and reliability of EFL students` classroom-based writing assessments in Turkish universities: An investigation of problems and solutions

Abstract

Bir deneysel ve bir doğal bağlam çalışmalarını içeren bu tez, puanlama yöntemlerinin (bütünsele karşı analitik) ve puanlayıcı eğitiminin Türkiyede Yabancı Dil olarak İngilizce (EFL) yazma değerlendirme değişkenliğine ve güvenirliğine olan etkisini özel olarak hem kuramsal çerçevede G-kuramına dayalı nicel yöntemi hem nitel yöntemi araştırma desenininde kullanarak araştırmayı amaçlamıştır. Deneysel çalışmada, 72 EFL kompzisyon önce bütünsel ve sonra analitik olarak detaylı puanlama eğitimi almış on puanlayıcı tarafından puanlandı. Toplam 1440 puan elde edildi. Doğal bağlam çalışmasında, aynı 72 EFL kompozisyonu sadece aynı ölçekleri kullanmaya yöneltilmiş diğer üniversitelerdeki dokuz puanlayıcı tarafından puanlanmıştır. Doğal bağlam çalışmasındaki 1296 puandan oluşan veri puanlama eğitiminin verilen puanların güvenirliğine ve değişkenliğine olan etkisini incelemek için kullanıldı. Sonuçlar, deneysel çalışma özenle yapılan puanlama eğitimiyle bütünsel puanlamanın analitik puanlama kadar tutarlılık ve güvenilirlik vereceğini ortaya koyan önemli bulgular sunmuştur, diğer yandan doğal çalışmadaki puanlayıcılar sadece temel bir puanlayıcı eğitimi aldıkları için bu durum düşük nitelikli puanlamalara yol açmış ve puanlayıcılar aynı EFL kompozisyonlarını bütünsel ve analitik puanlamalarında da oldukça farklılaşmışlardır. Yine doğal bağlam çalışması puanlayıcı eğitimi uygulamanın daha güvenilir sonuçlar almadaki önemini vurgulamıştır. Puanlamaların ardından yapılan yüzyüze mülakatlar puanlayıcıların karar verme süreçlerinin her iki ppuanlama yönteminde zorlu olduğunu göstermiştir. Puanlama yöntemleri puanlayıcıların puanlama süreçlerini etkilemiştir. Sonuç olarak, bulgular detaylı bir puanlama eğitimi uygulandığında bütünsel puanlamanın analitik puanlama kadar güvenilir ve sağlıklı sonuçlar vereceğine kanıt oluşturmaktadır. Bu bulgular Türkiyedesınıf temelli seçme ve yerleştirme yazma değerlendirme pratiklerinin nasıl iyileştirileceği gibi önemli bir konuyu ortaya çıkarmaktadır. Eğitim politikaları ve pratikleri perspektiflerinden önemli yaygın etkiler tartışılmıştır.

Including one experimental and one natural context studies, this dissertation aimed to investiate the impact of scoring methods (holistic vs. analytic scoring) and rater training on the variability and reliability of EFL writing assessments in Turkey, specifically using both quantitative method based on G-theory as a theoretical framework and qualitative method in the design. In the experimental study, 72 EFL papers were scored holistically and then analytically by ten raters who received a detailed rater training. Totally 1440 scores were obtaied. In the natural context study, the same 72 EFL papers were rated by nine raters from more universities who were only oriented to using the same rubrics. The extra data set consisting of 1296 scores in the natural context study was used to examine the impact of rater training on the reliability and variability of scores. The results showed that with careful training, the experimental study did produce significant finding, which is holistic scoring could produce comparable consistency and reliability as analytic scoring; on the other hand, as the raters in the natural context study received only a basic rater training, this yielded low quality ratings and the raters considerably varied in their holistic and analytic ratings of the same EFL papers. Again, the natural context study highlighted the importance of application of rater training to obtain more reliable results. The analysis of the face-to-face follow-up interviews indicated that raters? decision-making process was challenging with both scoring methods. The scoring rubrics did impact the raters? scoring processes. Overall, the findings provide evidence holistic scoring, therefore, could yield reliable and dependable results as analytic scoring if a detailed rater training is applied. The findings raise an important issue about how to improve classroom-based high-stake writing assessment practices in Turkey. Important implications from educational policy and practice perspectives are discussed.