Üst düzey düşünme becerilerini ölçen maddelerin öğrenci puanları ve puanlayıcı güvenirliği açısından incelenmesi

Abstract

Bu araştırmanın amacı, ortaokul 8.sınıf öğrencilerinin Bloom taksonomisine göre üst düzey düşünme becerilerini ölçen 5., 6., 7. ve 8. sınıf matematik dersi kazanımlarına göre belirlenen açık uçlu ve çoktan seçmeli maddelere verdiği cevapların dört puanlayıcı tarafından puanlama anahtarlarına göre puanlaması sonucunda puanlayıcılar arası güvenirliğin incelenmesidir. Bu amaçla 2006 ve 2012 yıllarında uygulanan PISA soruları kullanılmıştır. Seçilen PISA sorularının Bloom taksonomi düzeyleri ve 5., 6., 7. ve 8. sınıf matematik dersi kazanımlarına uygunluğu araştırmacı tarafından belirlenmiştir ve uygunluk için uzman görüşü alınmıştır. Uzman görüşleri alındıktan sonra 2020-2021 eğitim-öğretim yılında Ankara'nın Polatlı ilçesindeki 8.sınıf ortaokul öğrencilerine aynı soru köküne sahip açık uçlu ve çoktan seçmeli sorular belirli zaman aralıklarıyla uygulanmıştır. Araştırmacı tarafından hazırlanmış analitik puanlama anahtarı ve bütünsel puanlama anahtarı, puanlayıcılara puanlama sırasında kullanmaları için verilmiştir. Puanlayıcıların puanlama anahtarları kullanarak puanlaması sonucunda elde edilen puanların Klasik Test Kuramı ve Genellenebilirlik Kuramı'na göre güvenirlik kestirimleri yapılmıştır. Öğrencilerin cevaplandırdıkları maddeler gönüllü olan dört matematik öğretmeni tarafından analitik ve bütünsel puanlama anahtarlarına göre puanlanmıştır. Verilerin analizinde, Klasik Test Kuramı'na göre güvenirlik belirlenirken, Pearson korelasyon, Cronbach Alfa (α) katsayıları SPSS 25 ile hesaplanmıştır. Genellenebilirlik Kuramına göre G katsayısı ve toplam varyans açıklama yüzdesi Edu-G 6.1 programı ile hesaplanmıştır. Yapılan analizler sonucunda öğrencilerin açık uçlu ve çoktan seçmeli maddelere verdikleri cevaplar arasındaki korelasyon düşük düzeyde bulunmuştur. Klasik Test Kuramı ve Genellenebilirlik Kuramına göre, açık uçlu maddelerin analitik puanlama anahtarına göre puanlanması sonucu elde edilen puanlar ile bütünsel puanlama anahtarına göre puanlanması sonucu elde edilen puanlar arasındaki tutarlılık yüksek düzeyde çıkmıştır.

The aim of this study is to evaluate the answers given by the 8th grade students to the open-ended and multiple-choice items determined according to the 5th, 6th, 7th and 8th grade mathematics course achievements, which measure high-level thinking skills according to Bloom's taxonomy, by four raters according to the scoring keys. is the examination of reliability between raters. For this purpose, PISA questions applied in 2006 and 2012 were used. The suitability of the selected PISA questions for the Bloom taxonomy levels and the 5th, 6th, 7th and 8th grade mathematics course outcomes was determined by the researcher, and expert opinion was taken for their suitability. After receiving expert opinions, open-ended and multiple-choice questions with the same question root were applied to 8th grade secondary school students in the Polatlı district of Ankara in the 2020-2021 academic year at certain time intervals. Analytical rubric and holistic rubric prepared by the researcher were given to raters to use during scoring. Reliability estimations were made according to Classical Test Theory and Generalizability Theory of the scores obtained as a result of scoring the raters using rubrics. The items answered by the students were scored by four volunteer mathematics teachers according to analytical and holistic scoring keys. In the analysis of the data, while the reliability was determined according to the Classical Test Theory, the Pearson correlation and Cronbach Alpha (α) coefficients were calculated with SPSS 25. According to the Generalizability Theory, the G coefficient and the percentage of total variance explanation were calculated with the Edu-G 6.1 program. As a result of the analysis, the correlation between the answers given by the students to the open-ended and multiple-choice items was found at a low level. According to Classical Test Theory and Generalizability Theory, the consistency between the scores obtained as a result of scoring open-ended items according to the analytical rubric and the scores obtained as a result of scoring them according to the holistic rubric was found to be at a high level.