Klasik test kuramı ve genellenebilirlik kuramından puanlayıcılar arası tutarlılığın farklı yöntemlere göre karşılaştırılması

Abstract

Bu araştırmada 7. Sınıf matematik öğrencilerine uygulanan ve problem çözme becerisini ölçen açık uçlu sorular, analitik ve bütünsel dereceli iki ayrı puanlama anahtarı kullanılarak 5 farklı matematik öğretmeni tarafından puanlanmıştır. Elde edilen puanların Klasik test kuramı (KTK) ve Genellenebilirlik kuramına (GK) göre güvenirlik kestirimleri yapılmış ve puanlayıcılar arası tutarlık dereceleri belirlenmeye çalışılmıştır. İki kuramdan farklı tekniklerle belirlenen güvenirlik ve tutarlık düzeylerinde farklılaşma olup olmadığı ve kullanılan tekniklerden hangisinin daha fazla bilgi sunduğu belirlenmeye çalışılmıştır.Araştırma için Ankara ilindeki bir ortaokulun 7. sınıfında öğrenim gören 84 öğrenci seçilmiştir. Bu öğrencilere 2013-2014 Eğitim-Öğretim yılı bahar döneminde, tam ve rasyonel sayılarda problem çözme becerisini ölçen 6 adet açık uçlu sorudan oluşan bir test uygulanmıştır. Elde edilen cevaplar alanında uzman 5 matematik öğretmeni tarafından, analitik ve bütünsel dereceli puanlama anahtarları kullanılarak (ADPA-BDPA) 20-25 gün arayla puanlanmıştır. Araştırmanın verileri elde edildikten sonra Klasik test kuramından, Pearson momentler çarpımı korelasyon katsayısı (PMÇKK), Spearman sıra farkları korelasyon katsayısı (SSFKK), Cronbach Alpha, Kappa ve Krippendorf Alpha katsayıları ile Genellenebilirlik kuramından b x m x p çapraz deseninde değişkenlik kaynakları ve yüzdeleri belirlenerek güvenirlik analizleri yapılmıştır.Araştırma sonucuna göre, KTK ve GK 'na göre elde edilen güvenirlik katsayıları birbirine parelel ve oldukça yüksektir. Ancak Kappa istatistiği orta düzeyde uyumu işaret etmektedir. Yine aynı sonuçlarda genellenebilirlik kuramında oluşturulan birey, madde ve puanlayıcı deseninden ( b x m x p ) elde edilen sonuçlarda da puanlayıcıların iki farklı dereceli puanlama anahtarı kullanarak verdikleri puanlar arasında değişkenliğe etki etmedikleri görülmüştür. Ayrıca puanlayıcılar arası tutarlık düzeyinin yüksek olduğu ve analitik dereceli puanlama anahtarı ile elde edilen puanların tutarlığının bütünsel dereceli puanlama anahtarı ile elde edilen puanların tutarlığından göreceli olarak daha yüksek olduğu belirlenmiştir.Anahtar sözcükler:Problem çözme becerisi, klasik test kuramı, genellenebilirlik kuramı,kappa tekniği , krippendorf alfa, güvenirlik, puanlayıcılar arası tutarlık, analitik ve bütünsel dereceli puanlama anahtarları.

In this research, analytical and holistic rubrics, which evaluate the problem solving ability of seventh grade students,were used to be scored by five different mathematics teachers. The reliability analysis of obtained scores from raters have been made with respect to Classical test theory and Generalizability theory and interrater agreement level has been examined. Whether there is any difference between reliability coefficents and interrater agreement level obtained from different techniques from two theories and which tecniques used to gather more information was determined.In this research the convenient sample is used. The sample consists of 84 seventh grade students in Ankara. The data collection instrument includes 6 open-ended questions which measures the problem solving ability about integers and rational numbers in 2013-2014 spring semester. Student's answers were scored with respect to analytical and holistic rubrics by five mathematics teachers in Ankara following twenty- twenty five days. For data analysis, pearson product-moment correlation coefficient (PPMCC), spearman's rank correlation coeeficient (SRCC), cronbach alpha, kappa statistics and krippendorf alpha coefficient in the classical test theory and crossed design b x m x p which examines sources of variation and percentages in the generalizability theory are used to determine reliability and interrater agreement level.Consequently, it was found that the obtained reliability coefficients with respect to classical test theory and generalizability theory are parallel and relatively high. However, the kappa statistics states middle level agreement. Furthermore, the crossed design (b x m x p) also states that raters does not have effect on variation between scores obtained from them according to two rubrics. Finally, inter rater agreement level between teachers is high and the consistency of the scores obtained from analytical rubric is relatively higher than the consistency of the scores obtained from holistic rubric.Keywords: Problem solving ability, classical test theory, generalizability theory, kappa statistics, krippendorf alpha coefficients, interrater agreement level, analytical and holistic rubrics.