Problem çözme becerilerinin değerlendirilmesinde öz, akran ve öğretmen puanlarının çok yüzeyli Rasch ölçme modeli ile incelenmesi

Abstract

Bu araştırmada, rutin olmayan matematik problemi çözme becerilerinin değerlendirilmesi amacıyla hazırlanan performans görevlerinin dereceli puanlama anahtarıyla öz, akran ve öğretmen puanlamaları çok yüzeyli Rasch ölçme modeli ile incelenmiştir. Araştırma sürecinde öz, akran ve öğretmen puanlarının FACET analizi ile değerlendirilmesi ve öz ile akran puanlamalarının öğretmen puanlarına göre farklılaşma durumu incelenmiştir. Araştırmanın ilk aşamasında, 2014-2015 eğitim öğretim yılı bahar döneminde Ankara ilinde bir devlet okulunda öğrenim gören iki şube olmak üzere 75 altıncı sınıf öğrencisine ilk iki haftası eğitim ve deneme haftası olmak üzere toplamda altı hafta süresinde dört performans görevi uygulanmıştır. Belirtilen 75 öğrenciden üç uygulamanın tamamına katılamayan 18 kişi analizden çıkarılmıştır. Kalan 57 öğrencinin üç performans görevindeki performansları, analitik dereceli puanlama anahtarı ile öz, akran ve üç öğretmen tarafından puanlanmıştır. Araştırmanın ikinci aşamasında, devamındaki üç hafta uygulanan performans görevlerinden elde edilen puanların güvenirliğine ilişkin güvenirlik katsayısı her uygulama için ayrı bir şekilde kestirilmiştir. Bu uygulamalara ait veriler yüzey olarak; öğrenci, aşama, puanlayıcı türü ve yapay (dummy) yüzey olarak puanlayıcı yüzeyi tanımlanmış, her yüzeye ilişkin güvenirlik istatistikleri kestirilmiştir. Devamında ise üç uygulamaya ilişkin performans görevi puanlamaları birleştirilmiş ve görev beşinci yüzey olarak tanımlanmıştır. Dolayısıyla tüm veri setinde öğrenci, aşama, puanlayıcı türü, puanlayıcı ve görev olarak beş yüzeye ilişkin güvenirlik kestirimleri hesaplanmıştır. Araştırma sonucunda, üç hafta uygulanan performans görevinden elde edilen puanlamaların çok yüzeyli Rasch ölçme modeline göre elde edilen güvenirlik katsayılarının her bir uygulama için yüksek olduğu görülmüştür. Tüm veride görev yüzeyi de tanımlanarak üç uygulamaya ait öz, akran ve öğretmen puanlamalarının FACET ile analizi sonucunda yine yüksek güvenirliğe sahip olduğu görülmüştür. Puanlayıcı türü olarak öz, akran ve öğretmen puanlamalarının katılık/cömertliği ise haftalara göre farklılaşma gösterdiği görülmüştür. Genel olarak öz puanlayıcının en cömert, öğretmenin ise katı puanlayıcı olduğu görülmüştür. Akran puanlayıcının katılık/cömertliği ise birinci uygulamadan üçüncü uygulamaya doğru öğretmen puanlayıcıların katılık/cömertliğine yaklaştığı gözlenmiştir.

In this study, self, peer and teacher's scores of performance tasks which were prepared so as to evaluate solving skills of non-routine math problems have been analyzed by multi-faceted Rasch measurement model. In the research process, the assessment of self, peer and teacher scoring with FACET analysis and differentiation conditions between self and peer scoring and teacher scoring were analyzed. In the first phase of the study, through 2014-2015 academic year spring semester, four performance tasks were administered to 75 sixth grade students in a state school in Ankara province in a six-week period including the first two weeks training and testing week. Among 75 students, 18 students could not attend all three practices, so these students were excluded from analysis. The remaining 57 students' performance in three performance tasks was scored by themselves, peers and three teachers with analytical rubric. In the second phase of study, reliability coefficients related the reliability of the scores obtained from three-week administration of performance tasks were estimated separately for each administration. Data in these administrations, student, steps (problem-solving), raters type as facet and rater as dummy facet were defined, reliability statistics related each facet were estimated. Subsequently, scorings performance task related three-week were combined and `task` was defined as fifth facet. So using whole the data set, reliability estimations related five facets which were student, steps (problem-solving), raters type, raters and the task were calculated. As a result of the research, it has seen that scores obtained from three-week administration of performance tasks have high reliability coefficients for each administration according to multi-faceted Rasch measurement model. It has been seen that defining the facet of task in all the data set, self, peer and teacher's scorings of three administration as a result of the FACET analysis have still high reliability coefficients. It has been seen that as a type of raters; self, peer and teacher scoring's lenient/severity differentiate according to the weeks. In general, self-rater has been seen as the most lenient and teacher has been the most severe. It has been observed that severity/lenient of peer-raters get closer to severity/lenient of teachers from the first application to the third application.