Puanlama yönergesi (rubrik) kullanılması durumunda puanlayıcı güvenirliğiniğin incelenmesi

Abstract

Bu araştırmada, grafik yorumlama becerisine ilişkin bir ölçeği puanlamada puanlama yönergesi (rubrik) kullanımının, ayrıca aynı ve farklı öğretmenler tarafından yapılan puanlamalar arasında geçen zamanın güvenirlik üzerine etkisi incelenmiştir.Bu amaçla, grafik yorumlama becerisine ilişkin 4 açık uçlu maddeden oluşan bir ölçme aracı ve bu ölçme aracını puanlamak için bir puanlama yönergesi (rubrik) hazırlanmıştır.Araştırma kapsamında hazırlanan sorular Mersin Toros Koleji 8. sınıflarında okuyan 50 öğrenciye uygulanmıştır. Sorulara verilen yanıtlar ise Tarsus ve Mersin'de çalışmakta olan veya emekli 17 matematik öğretmeni tarafında puanlanmıştır.Öğretmenler, öncelikle öğrencilerin yanıtlarını puanlama yönergesi kullanmadan puanlamışlardır. Daha sonra bellek etkisini önlemek için öğretmenler 2 hafta beklemişler ve sonra aynı kağıtları puanlama yönergesi kullanarak puanlamışlardır. Zamanın puanlar üzerindeki etkisini ölçmek için aynı uygulama 10 hafta sonra tekrarlanmıştır. Bu yaklaşımla, aynı öğretmenlerin farklı zamanlarda verdikleri puanlar arasında anlamlı bir ilişki ve farklılık olup olmadığı belirlenmeye çalışılmıştır.Aynı öğretmenler tarafından verilen farklı puanlar arasındaki ilişki Pearson Momentler Çarpımı Korelasyon Katsayısı ile incelenmiş ve elde edilen korelasyon katsayıları t-testi ile test edilmiştir. Korelasyon katsayıları arasında anlamlı bir farklılık olup olmadığını bulmak için Fisher'in z' dönüşümü yapılmıştır. Ayrıca aynı öğretmenlerin verdikleri puanların ortalamaları arasında anlamlı bir farklılık olup olmadığını bulmak için bağımlı örneklemler için t testi kullanılmıştır.Her uygulama için, farklı öğretmenlerin puanları ikişer ikişer karşılaştırılmış ve puanlar arasındaki ilişki Pearson Momentler Çarpımı Korelasyon Katsayısı ile incelenmiş ve elde edilen korelasyon katsayıları t-testi ile test edilmiştir. Farklı öğretmenlerin verdikleri puanların ortalamaları arasında anlamlı bir fark olup olmadığını bulmak için tek yönlü varyans analizi yöntemi kullanılmıştır. Her puanlama tipi için, puanlayıcılar arası güvenirlik, Hoyt'un varyans analizine dayalı G katsayısı hesaplanarak belirlenmiştir.Sonuç olarak, her uygulamada, aynı öğretmenlerin puanlamaları arasında pozitif yönde, oldukça yüksek ve anlamlı bir ilişki bulunmuştur. Fakat puanların ortalamaları arasında anlamlı farklılıklar vardır. Bu noktada, öğretmenler ya da uygulamalar arasında geçen zaman bu farklılığın sebebi olarak düşünülmektedir. Her uygulamada, farklı öğretmenlerin puanları arasında da pozitif yönde, oldukça yüksek ve anlamlı bir ilişki bulunmuştur. Fakat farklı öğretmenlerin puan ortalamaları arasında tutarsızlığa neden olacak kadar manidar farklılıklar gözlenmiştir. Öğretmen özeliklerine dayalı bilişsel değişkenlerin ya da uygulamalar arasında geçen zamanın bu farklılığa neden olduğu düşünülebilir.

In this research, the effects of using ?Scoring Rubric? to score a graph interpretation scale and the time between scorings by same and different teachers, on the reliability were examined.For this reason, a graph interpretation scale consisting of 4 open-ended questions and a scoring rubric for scoring the scale were prepared.In the borders of the research, prepared questions were practiced on 50 students attending 8 grade in Mersin Toros College. Answers to the questions were scored by 17 employed and retired Mathematics teachers located in Tarsus and Mersin.Teachers firstly scored the answers of students without using a scoring rubric. Later on, in order to prevent the memory effect, the teachers waited for 2 weeks and then scored the same papers using a scoring rubric. In order to measure the effect of time on the scores, the above procedure was repeated after 10 weeks. With this approach, it was tried to find out whether a meaningful relationship and difference between the scores by same teachers at different times.The relationship between the different scores by the same teachers was examined with Pearson Moment- Product Correlation Coefficient Method and the resulting correlation coefficients were tested with t- test. In order to find out whether a meaningful difference between correlation coefficients Fisher?s z' transform was used. Also, in order to find out whether a meaningful difference between the means of the given scores by same teachers t test for related samples was used.For each experiment, scores of different teachers were compared in pairs and the relationship between scores were examined with Pearson Moment- Product Correlation Coefficient Method and the resulting correlation coefficients were tested with t- test. In order to find out whether a meaningful difference between the means of the given scores by different teachers, one way variance analysis method was used. The interrater reliability for each scoring type was determined by computing the G coefficient which depends on Hoyt?s variance analysis.In conclusion, between the scores of the same teachers in each experiment, a positively, highly related, meaningful relation is reached. On the other hand, it is observed that there are meaningful differences between the means of scores. At this point, it is considered that teachers or the awaiting time between the experiments are the reason for the difference. Between the scores of different teachers in each experiment, a positive, highly related, meaningful relation is reached. Conversely, it is observed that there were unexpected differences between the scores of different teachers which caused great inconsistency in the observed mean values. Cognitive variables dependent on teacher characteristics or awaiting time between the experiments are considered to be the reason of these differences.