A study on assessment tools and evaluation of essay writing skill in foreign language education

Abstract

Bu çalışmada essay yazma becerisini ölçmek için kullanılabilecek geçerli ve güvenilir bir puanlama ölçeği geliştirilmiş ve söz konusu ölçek essay yazma becerisini ölçmek için kullanılan diğer puanlama araçları ?genel izlenim ve kontrol listesi- ile puanlayıcı güvenirliği açısından karşılaştırılmıştır. Kontrol listesi ve ölçeğin geliştirilme aşamasında üniversite öğretim elemanlarının görüşlerine başvurulmuştur. Yargıcılar Kontrol listesi ve ölçeği performans göstergelerine gore incelemiş ve uygunluk derecelerine karar vermişlerdir. Puanlama aşamasında ise 10 puanlayıcı İngilizce öğretmenliği bölümü öğrencilerinin yazdığı 44 essay ürününü genel izlenim, kontrol listesi ve ölçek kullanarak puanlamışlardır. Her puanlama türüne ilişkin puanlayıcı güvenirliğini belirlemek için puanlamalar arasındaki ilişki Pearson Momentler Çarpımı Korelasyon Katsayısı ile hesaplanmıştır. Farklı puanlama araçları için elde edilen sonuçlar Fischer'ın z dönüşümü kullanılarak z puanlarına dönüştürülerek incelenmiştir. Ayrıca, puanlayıcıların puanlamanın her bir aşamasına ilişkin görüşleri standard açık uçlu bir madde ile ortaya çıkarılmıştır. Analiz sonuçları genel izlenimle yapılan puanlamalar arasında bir tutarlılık olmadığını göstermiştir. Control listesi ve ölçekle yapılan puanlamalarda ise tutarsızlıklar olmakla birlikte genel izlenimle gerçekleştirilen puanlamalara göre çok daha yüksek korelasyon gösterdikleri görülmüştür. Control listesi ve ölçekle yapılan puanlamalar arasında ise küçük farklılıklar görülmüş ve sonuçların ölçekle puanlama lehine olduğu ortaya çıkmıştır. Buna rağmen, Fischer'ın z dönüşümü sonuçları farklı zamanlarda farklı puanlama araçları ile yapılan ölçmeler arasında tutarlı ve karalı puanlama yapılamadığını ortaya koymuştur. Bu durum, puanlayıcıların aynı essay ürünlerine farklı zamanlarda aynı ya da farklı ölçme araçlarıyla da puanlasalar farklı sonuçlar atadıklarını göstermektedir. Yine de, puanlamada ölçek kullanımının puanlayıcıları belli bir ölçüt ve puanlama çerçevesi içine alarak öznelliği sistematik hale getirdiği söylenebilir.

In this study, a valid and reliable scoring scale which can be used to assess essay writing skill was developed, and compared to the other assessing tools -general impression marking and checklist, used for essay writing skill considering scorer/rater reliability. In the development phase of the checklist and the scale, 103 faculty members took place. They evaluated the checklist and the scale criteria with performance indicators, and decided the acceptability levels of them in the scale. In the assessment phase, 10 scorers assessed 44 essays, written by ELT students, by using general impression marking, checklist, and scale. In order to determine the scorer reliability of each type of assessment, the relationship between the scorings was computed by using Pearson Product Moments correlation coefficient. Later, the results for different assessment tools were examined by converting to z scores by using Fischer?s z transformation. Employing a standardized open-ended question about each phase of the scoring process revealed the views and/or reactions of the scorers by their responses on using each scoring tool. Statistical analyses indicate that there is not a consistency between scorings done by using general impression marking. The scorings done by using checklist and scale include inconsistencies but the correlation coefficients are remarkably higher than the ones obtained from the scorings done by using general impression marking. There is a slight difference between the correlation coefficients obtained from the scorings done by using the checklist and the scorings done by using the scale in favor of the scale. However, no consistent and decisive scorings were done by the scorers using different tools in different time distances according to the results of Fischer?s z transformation. This may mean scorers assign different scores to the same essays when they use the same or different assessment tools in different time distances but scale use systematizes subjectivity by framing particular concerns of scorers while scoring.