Matematiksel muhakeme becerisinin ölçülmesinde Klasik Test Kuramı ile genellenebilirlik kuramındaki farklı desenlerin karşılaştırılması

Abstract

Bu çalışmada ilköğretim yedinci sınıf öğrencilerine yönelik matematiksel muhakeme performansının belirlenmesinde kullanılan ölçekten elde edilen ölçümlerin güvenirliğinin incelenmesi amaçlanmıŞtır. Bu amaçla ölçeğin, üç bağımsız puanlayıcı tarafından puanlanmasıyla elde edilen ölçümlerin güvenirliği; Klasik Test Kuramı ile Genellenebilirlik (G) kuramının çaprazlanmış ve yuvalanmış desenlerinde karşılaştırılmıştır. Her iki kuramda yapılan güvenirlik analizleri sonucu elde edilen güvenirlik katsayıları karşılaştırılarak, aralarındaki farklılıkların manidarlığı test edilmiştir. Ayrıca elde edilen bulgulara dayalı olarak kuramların birbirine göre avantajları tartışılmıştır.Araştırmanın çalışma gurubunu, Konya ilinde bulunan, 2014-2015 eğitim-öğretim yılında yedinci sınıfta öğrenim gören 187 kişilik öğrenci grubu oluşturmuştur. Öğrencilerin matematiksel muhakeme seviyelerini belirleyen ölçek uygulanmış ve öğrenci cevapları 3 bağımsız puanlayıcı tarafından analitik puanlama anahtarı ile puanlanmıştır. Genellenebilirlik kuramı için iki farklı senaryo kullanmak üzere iki desen tasarlanmıştır. Bu desenlerden birincisi, öğrenci (ö), soru (s) ve puanlayıcı (p) değişkenleri olmak üzere, öğrencilerin aynı sorular üzerinden puanlayıcıların her biri tarafından puanlandığı Ö X S X P çapraz desenidir. ikinci desen ise, her bir puanlayıcının soruların sadece bir kısmını puanlamasıyla oluşan, puanlayıcı ve soru değişkenlerinin yuvalanmış, öğrencilerin ise bu değişkenlerle çaprazlanmış olduğu Ö X (S:P) desenidir. Verilerin analizi 3 aşamada gerçekleşmiştir. Birinci aşamada genellenebilirlik kuramı kapsamında Ö X S X P ve Ö X (S:P) desenlerinde ayrı ayrı G çalışmaları yapılarak ana ve ortak etkiler için varyans değerlerinin kestirimine yönelik analizler yapılmış, ardından yapılan Karar çalışmaları ile de farklı senaryolar oluşturularak kabul edilebilir güvenirlik katsayıları kestirilmiştir. İlk iki aşamada yapılan analizlerde EduG6.1e programından yararlanılmıştır. Son aşamada ise performans görevinden elde edilen puanların klasik test kuramında güvenirlik analizleri yapılmıştır. Araştırma sonucunda her iki kuramdan kestirilen güvenirlik katsayıları da kabul edilebilir düzeyde bulunmuştur. Ö X (S:P) deseninde G çalışması sonucu kestirilen G ve Phi katsayıları Ö X S X P deseninden daha yüksek bulunmuştur. Klasik test kuramında her 3 puanlayıcı için ayrı ayrı hesaplanarak elde edilen Cronbach alfa katsayıları ise, her iki desende bağıl ölçme için kestirilen G katsayıları ile oldukça paraleldir. Ayrıca Genellenebilirlik kuramında yapılan karar çalışma ile de yüzeylerin sayılarının mutlak ve bağıl hata varyanslarına etkisi belirlenmiştir. Dolayısı ile G kuramı ile yapılan analizlerin KTK'ya göre daha detaylı bilgi verdiği görülmüştür.

The purpose of this study is to examine the reliability of measurements obtained `Mathematical Reasoning Measurement Scale` for seventh grade students. For this purpose, the reliability of the measurements obtained by the scoring by three independent raters were compared by using Classical Test Theory and Generalizability Theory which has crossed and nested designs. The reliability coefficients obtained by reliability analyses of both theories were compared with each other and the significant test was made for the difference between them. Also, the advantages of theories were discussed, based on the findings. This study has been conducted with totally 187 students in the seventh grade in the spring term of 2014-2015 academic year in Konya. `Mathematical Reasoning Measurement Scale` was applied to mentioned students and the student responses were scored by three independent raters with analytical rubric.Two designs of Generalizability Theory were deliberated for the study. The first design is a fully crossed design S X I X R (student x item x rater) which all of the students answered all of the items and scored by all of the raters. The second design is a partially nested design S X (I:R) which students anwered all off the items by all of the raters, but the items were nested in raters. Data analysis occurred in three stages. Firstly, Generalizability study which is enabled to identfy which sources of error variances have the greatest influence on the measurement results were carried out for both designs and then Decision study allowed the effects of different designs to contributions of measurement error. EduG6.1e was used to carry out analyses so far. At the last step, the reliability of the scores obtained from the scale were analyzed in Classical Test Theory. Consequently, the reliability coefficients were estimated of both theory have been found acceptable. The reliability coefficients obtained from S X (I:R) design are relatively higher than the ones obtained from S X I X R design. The Cronbach's alpha coefficients obtained by estimated for each of three raters in classical test theory and G coefficients for relative measurements in both designs is quite parallel.In addition, the impact of the number of facets to absolute and relative error variance was examined in decision studies. Therefore, analysis by G theory was found to give more detailed information than Classical Test Theory.