Aynı performans görevinin farklı sayıda puanlayıcılar tarafından üç farklı teknikle puanlanmasından elde edilen puanların güvenirliklerinin genellenebilirlik kuramına göre incelenmesi

Abstract

Bu araştırmanın amacı, aynı performans görevlerinin farklı sayıda puanlayıcı tarafından kontrol listesi, dereceleme ölçeği ve analitik rubrik yardımıyla puanlanması durumunda, puanlayıcılar arası güvenirliklerinin Genellenebilirlik Kuramı çerçevesinde incelenmesidir.Bu amaç doğrultusunda, 5. sınıf düzeyindeki öğrencilerin hikâye yazma becerilerini puanlamak amacıyla, kontrol listesi, dereceleme ölçeği ve analitik rubrik hazırlanmıştır. İlköğretim 5. sınıf öğrencilerine yazdırılan hikâyeler arasından seçilen 6 hikâye 45 puanlayıcıya üç farklı puanlama anahtarı ile 10-15 gün aralıklarla puanlattırılmıştır. Araştırmaya katılan 45 puanlayıcı içerisinden 2, 3, 5 ve 10 puanlayıcılı 100?er örneklem çekilmiştir. Elde edilen 400 örneklem için Genellenebilirlik Kuramı?na göre puanlayıcılar arası güvenirlikleri hesaplanmıştır. Elde edilen 1200 hesaplamanın her bir durum için elde edilen 100 örneklemi için ortancaları ve standart hataları hesaplanmıştır. Genellenebilirlik Kuramı güvenirlik kestirimlerinin ortanca değerleri incelendiğinde, 5 puanlayıcının kontrol listesi kullanarak yaptıkları puanlamaların güvenirliklerinin ortanca değeri hariç olmak üzere, puanlayıcı sayısı ve aynı zamanda kullanılan ölçeğin kategori sayısı arttıkça ortanca değerlerinin de arttığı gözlenmiştir. Genellenebilirlik Kuramı?ndan elde edilen standart hataların, puanlayıcı sayısı arttıkça azaldığı gözlenmiştir. En düşük standart hata değerlerinin, 10 puanlayıcı olması durumunda elde edildiği saptanmıştır. Puanlayıcı sayısı 5 ve kategori sayısı 2 olduğunda, Genellenebilirlik Kuramı?nda güvenirlik kestiriminin en yüksek değeri verdiği belirlenmiştir.

The aim of this study is to investigate inter-rater reliability in a condition that the same performance tasks are scored by different number of raters through check list, rating scale, and analytic rubric within the frame of Generalizability Theory. In line with the aim of the study, check list, rating scale, and analytic rubric were prepared in order to rate 5th grade students? story writing skills. Six stories chosen among the stories which had been written by 5th grade students were scored by 45 raters with three different rating keys between 10-15 days. Among the 45 raters who participated into the study, 100 samples with 2, 3, 5, and 10 rating were drawn. Inter-rater reliability was calculated for the obtained 400 samples according to Generalizability Theory. Median and standard error of 100 samples obtained for each situation among 1200 calculations were calculated. When the median value of Generalizability Theory reliability estimate was illustrated, it was observed that when the number of raters and at the same time category labels were increased, the median value also increased except the median value of reliability of rating done through using control list by 5 raters. It was found out that standard errors obtained from Generalizability Theory decreased as long as the numbers of raters were increased. It was ascertained that the lowest standard error value was obtained in case there were 10 raters. When there were 5 raters and category number was 2, reliability estimate presented maximum value within Generalizability Theory.