Dereceli puanlama anahtarıyla, genel izlenimle ve ikili karşılaştırmalar yöntemiyle yapılan değerlendirmelerin karşılaştırılması

Abstract

Bu çalışmada, üç farklı şekilde (genel izlenimle, dereceli puanlama anahtarı ile ve Thurstone ikili karşılaştırmalar yöntemiyle) puanlanacak ve değerlendirilecek olan kompozisyonlardan elde edilecek verilere dayanarak, üç farklı değerlendirme biçiminin psikometrik özelliklerinin incelenmesi amaçlanmıştır.Burada değerlendirme işleminin bir aracı olarak yazılı anlatım becerisi ve bunun özel bir uygulaması olan kompozisyon kullanılacağından ilk olarak ?Kompozisyon Yazmaya İlişkin Dereceli Puanlama Anahtarı? geliştirilmiştir.Yargıcıların kompozisyonları önce ikili karşılaştırmalarla, sonra genel izlenimle ve en son olarak dereceli puanlama anahtarıyla değerlendirmeleri sonucunda, hangi değerlendirme yapılırsa yapılsın kompozisyonların sıralamalarında bir değişikliğin olmadığı gözlenmiştir.Dereceli puanlama anahtarıyla yapılan dereceleme ölçeğinin davranış ölçütlerinin öbeklenmesi için yapılan faktör analizi sonuçlarında, hem tüm ölçeğin hem de üç ana bileşenin tek faktörlü olduğu gözlenmiştir. Ayrıca tüm kompozisyonlar için hesaplanan ana ölçütlerin ve tüm ölçeğin Cronbach ? katsayılarının oldukça yüksek çıktığı gözlenmiştir.Kompozisyonlar dereceli puanlama anahtarıyla aynı yargıcılara 7-14 gün zaman aralığıyla iki kez puanlatılmış ve iki değerlendirme arasında pozitif yönde ve anlamlı bir ilişki bulunmuştur.Farklı yargıcıların beş ayrı kompozisyonu, genel izlenimle ve dereceli puanlama anahtarı ile puanlanmasında puanlayıcı güvenirliğinin belirlenmesinde G katsayıları hesaplanmış ve bu katsayılar yüksek bulunmuştur.Anahtar Kelimeler: Derecelendirme ölçekleri, dereceli puanlama anahtarı, yazma becerisi, ikili karşılaştırmalar

This present study investigates psychometric features of three different evaluation types based on the data of the compositions which have been going to be rated and evaluated in three different types (overall impression, rubric and Thurstone paired comparison).Firstly, ?The Rubric For Writing Composition? was constructed which was going to be used as a tool for evaluating writing skill.Then, judges evaluated compositions firstly with paired comparison, secondly with overall impression and at last with the rubric. At the end of these evaluations it is observed that there is no change in rank order of compositions.It is observed that, one factor expletory solution which is done to group of behavior criteria of rating scale constructed as rubric is accurate for both scale and its three components. Additionally, Cronbach alpha coefficients calculated for major and minor criteria of all composition is observed to be high.The relationship among rates of compositions which are evaluated with the rubric between 7-14 days period by the same judges found positive and significant.For determining rating reliability, G coefficients were calculated for overall impression and rubric evaluation. These coefficients are found as high.Keywords: Rating scales, rubric, writing skill, paired comparison