Problem çözme sürecinde dereceli puanlama anahtarı (Rubrik) kullanımında puanlayıcı uyumunun incelenmesi

Abstract

Bu araştırmada, puanlayıcıların problem çözme becerisinin dereceli puanlama anahtarı kullanarak ve kullanmadan değerlendirmesi sonunda elde edilen puanlar arasındaki uyumu incelenmiştir. Bu amaçla, 6. sınıf seviyesinde `doğal sayılar` konulu 4 adet açık uçlu problem ve problemleri puanlamak için dereceli puanlama anahtarı hazırlanmıştır. Bu problemler 2011-2012 eğitim öğretim yılında Bartın Özel Emel Işık İlköğretim Okulu?nun 6. sınıfında öğrenim gören 27 öğrenciye uygulanmıştır. Problemlere verilen yanıtlar, Bartın ilinin farklı okullarında görev yapan 15 ilköğretim matematik öğretmeni tarafından puanlanmıştır.Öğretmenler, problemleri öncelikle dereceli puanlama anahtarı kullanmadan puanlamışlardır. İki hafta sonra, aynı yanıtları bellek etkisini önlemek için dereceli puanlama anahtarı kullanarak puanlamışlardır. Ayrıca öğrenciler kendi yanıtlarını dereceli puanlama anahtarı kullanarak puanlamışlardır. Bunun yanında öğretmenlerin dereceli puanlama anahtarı kullanımına ilişkin görüşlerini belirlemek amacıyla 4 açık uçlu sorudan oluşan anket öğretmenlere uygulanmıştır. Bu yaklaşımla öğretmenlerin dereceli puanlama anahtarı kullanarak ve kullanmadan verdikleri puanlar arasındaki uyum incelenmiştir. Ek olarak, öğretmenlerin ve öğrencilerin puanlamaları arasındaki ilişki analiz edilmiştir. Öğretmenlerin öğrenci yanıtlarına verdikleri puanlar arasındaki uyum Kendall'ın w testi ile incelenmiştir. Öğretmenlerin öğrencilere dereceli puanlama anahtarı kullanarak verdikleri puanlar arasındaki uyumun yüksek olduğu gözlenmiştir. Dereceli puanlama anahtarı kullanmadan verdikleri puanlar arasındaki uyum ise düşük bulunmuştur. Öğrencilerin kendilerine verdikleri puanlar ile öğretmenlerin öğrencilere verdikleri puanlar arasındaki ilişki ise Spearman Sıra Farkları Korelasyon Katsayısı ile analiz edilmiştir. 1. ve 3. problemlerde öz değerlendirmeler ile öğretmenlerin dereceli puanlama anahtarı kullanarak verdikleri puanlar arasında öğretmenlerin çoğunda anlamlı ilişki bulunmuştur. 2. ve 4. problemlerde ise anlamlı ilişki öğretmenlerin tamamında görülmüştür. Öz değerlendirmeler ile öğretmenlerin dereceli puanlama anahtarı kullanmadan yaptıkları puanlamalar arasında 1. ve 3. problemlerde anlamlı ilişki bulunmamıştır. Fakat 2. ve 4. problemlerde öğretmenlerin genelinde anlamlı ilişki gözlenmiştir. Öğretmenlerin dereceli puanlama anahtarına ilişkin açıklamalarına göre, dereceli puanlama anahtarının yapısı ve amacı hakkında bilgiye sahip oldukları ancak hazırlama, uygulama ve çeşitleri hakkında yeterli bilgiye sahip olmadıkları gözlenmiştir. Öğretmenler dereceli puanlama anahtarının objektif değerlendirme yaptığını belirtmişlerdir. Öğrencinin güçlü ve zayıf yönlerini görmesine olanak sağladığından öğrenci başarısını olumlu yönde etkilediğini ifade etmişlerdir. Ancak öğretmenler dereceli puanlama anahtarı hazırlamanın zor ve uzun zaman aldığını bildirmişlerdir. Anahtar Kelimeler: Dereceli puanlama anahtarı, öz değerlendirme, problem çözme, puanlayıcı uyumu, tamamlayıcı ölçme ve değerlendirme teknikleri.

In this research, scorers?s coherence between scores at the end of their assessment on problem solving ability using rubric and without rubric were examined.For this reason ,a rubric and four open-ended questions on natural numbers at 6th grade level was prepared for scoring problems. The problems were applied to 27 students at 6th grade of the Bartın Private Emel Işık Secondary School in the 2011-2012 academic year. Responses of problems were scored by 15 mathematic teachers who work at different schools in Bartın province. First of all, the teachers scored problems without rubric. Two weeks later, the same responses were scored using the rubric to prevent memory effect. Also, the students scored their responses using rubric. In addition, a questionnaire consisting of 4 open-ended questions were applied to teachers for determining their views about using rubric. With this approach, coherence among scores of teachers using rubric and whitout rubric were examined. In addtion to this, relation between scoring of teachers and students were analysed.Coherence among teachers ` scores for students' responses were examined with Kendell's W test. The coherence among scores given to students by teachers using rubric were observed highly. Coherence among scores given by teachers without using rubric were found low. The relation between scores given students for themselves and teacher2s scores for students were analysed with Spearman Correlation Test. It was found significant relationship in the majority of teachers between self-assessment for 1st and 3rd questions and scores given by using rubrics by teachers. This significant relationship in 2nd and 4th questions was observed in all of the teachers. It wasn?t found a significant relationship between self-assesssment and scores given without using rubric by teachers for 1st and 3rd questions. But the significant relationship for 2nd and 4th questions were observed in the majority of teachers. According to teachers's explanations about rubric, ıt was observed that they have information about structure and purpose of rubric but they don2t have enough information about preparation, application and variation of rubric. The teachers reported that rubric maintains objective?assesment. Furthermore, teachers said that as it allows students to see their strengths and weaknesses, it affects positively students success. However teachers reported that it is difficult and it takes a long time to prepare a rubric.Keywords: Rubric, self assessment, problem solving, compliance raters, complemental measurement and assessment techniques