Angoff, yes/no ve sınır grup yöntemlerine göre kesme puanlarının karşılaştırılması

Abstract

Bu araştırmada; test merkezli standart belirleme yöntemlerinden Angoff ve Yes/No yöntemleri ile öğrenci merkezli standart belirleme yöntemlerinden sınır grup yöntemi ile elde edilen kesme puanlarının karşılaştırılması amaçlanmıştır. Araştırma kapsamında; öğrenci ve yargıcı grubu olmak üzere iki farklı çalışma grubundan veriler elde edilmiştir. Öğrenci grubunu; Uşak ili Anadolu liselerinde 10. sınıfta öğrenim gören amaçsal örnekleme yöntemi ile seçilen 1.057 öğrenci, yargıcı grubunu ise öğrenci grubunun dersine giren 22 matematik ve 16 Türk dili ve edebiyatı öğretmeni oluşturmaktadır. Kesme puanlarının hesaplanabilmesi için araştırmacı tarafından iki farklı form geliştirilmiştir. Öğrenci grubundan veri toplamak amacıyla 15'er maddeden oluşan matematik ve Türkçe başarı testleri; yargıcı grubundan veri toplamak için ise ` Yargıcı Görüşleri Belirleme Formu` kullanılmıştır. Araştırma sonucunda, matematik testi için en yüksek kesme puanı Yes/No yöntemi ile 54,82; Türkçe testi için ise Angoff yöntemi ile 67,30 puan olarak hesaplanmıştır. Matematik testi için en düşük kesme puanı 46,67; Türkçe testi için ise 53,33'tür. Bu puanlar sınır grup yöntemiyle elde edilmiştir. Başarılı kabul edilen öğrenci oranları arasındaki fark z istatistiği ile karşılaştırılmıştır. z istatistiği sonucunda tüm yöntemler arasında başarılı kabul edilen öğrenci oranları açısından 0,01 düzeyinde anlamlı fark olduğu saptanmıştır. Öğrencilerin üç yöntem ile belirlenen kesme puanlarına göre başarılı-başarısız olarak sınıflandırılma durumlarının uyumu Cohen's Kappa istatistiği ile incelenmiştir. Araştırma sonucunda; matematik ve Türkçe testleri için üç yöntem arasında iyi veya mükemmel düzeyde anlamlı bir uyum olduğu belirlenmiştir. Yargıcıların farklı yöntemler ile belirlediği kesme puanları arasındaki ilişkinin belirlenmesi için dağılımların yapısına bağlı olarak Pearson Momentler Çarpımı Korelasyon Katsayısı ve Sperman Korelasyon Katsayısı kullanılmıştır. Türkçe testi için Yes/No ile sınır grup yöntemi hariç matematik ve Türkçe testlerinde tüm yöntemler arasında anlamlı bir ilişkinin olduğu görülmüştür. Her bir yöntem için belirlenen kesme puanlarının ortalama ve ortancaları arasındaki fark, dağılımların yapısına bağlı olarak bağımlı örneklemler t testi veya Wilcoxon işaretli sıralar testi ile analiz edilmiştir. Araştırma sonucunda; Türkçe testi için Angoff ile sınır grup yöntemi hariç matematik ve Türkçe testlerinden elde edilen kesme puanlarının ortalama ve ortancaları arasında anlamlı bir fark bulunmamıştır. Angoff ve Yes/No yöntemlerine göre maddelerin doğru yanıtlanma olasılıkları açısından yargıcı kararları arasındaki uyum, Kendall W ve Fleiss Kappa testi ile incelenmiştir. Araştırma sonucunda; Angoff yöntemine göre yargıcı kararları arasında yüksek düzeyde olmasa da istatiksel olarak anlamlı bir uyum olduğu saptanmıştır. Yes/No yöntemi için yargıcı kararları arasında matematik dersinde orta düzeyde ve Türkçe dersinde ise iyi düzeyde uyum bulunmaktadır. Ayrıca; yargıcı kararları açısından Yes/No yönteminin Angoff yöntemine göre daha yüksek bir uyuma sahip olduğu araştırma sonucunda belirlenmiştir. Anahtar Kelimeler: Angoff, Yes/No, sınır grup, kesme puanı

In this research, it is aimed to compare the Angoff and Yes / No methods of test centered standard setting methods and the cut-off points obtained by the borderline group method from the student-centered standard setting methods. In the extent of the research; datas were collected from two different study groups of student and judges. Student group consists of 1.057 students studying at 10th grade in Anatolian High Schools in Uşak province who were choosen by the method of purposive sampling. Judges group consists of 22 mathematics and 16 Turkish language and literature teachers who teach the student group.To be able to calculate cut-off points, two different forms were developed. To collect data from student group; mathematics and Turkish success tests each of which consist of 15 items; to collect data from judges group also `Judges Opinion Determination Form` were used. At the end of the research, the highest cut-off score for mathematics test is determined by Yes/No method 54,82; for Turkish test it is determined by Angoff method 67,30. The lowest cut-off score for mathematics test is 46,67, for Turkish test it is 53,33. These scores were obtained by borderline group method. The difference among the percentages of the students considered successful is compared with z statistics. As a result of z statistics, among all the methods in terms of the percentages of the students considered successful 0,01 degree of significant difference was determined. The scores of students were categorized as successful and unsuccessful according to the cut-off scores determined by three methods. The compliance between three methods has been examined with Cohen's Kappa statistics. As a result of the research substantial or perfect level of agreement among three methods for mathematics and Turkish tests was determined. To determine the relationship among the cut-off scores that judges identify with different methods, Pearson-Product Moment Correlation Coefficient and Spearman Correlation coefficient were used according to structure of distrubitons. For Turkish test except for Yes/No and borderline group method, it is seen that there is significant relationship among all the methods for Turkish an mathematics tests. The avarage and median difference among cut-off scores identified for all the methods was analyzed with dependent samples t-test and Wilcoxon Signed-Rank test in accordance with the structure of distrubitions. As a result of the research; for Turkish test except for Angoff and borderline group method; no significant difference was found between the avarage and median of the cut off scores gained from mathematics and Turkish tests. According to Angoff and Yes/No methods agreement among the judges' in terms of the possibility of correct responses of items decisions, was examined with Kendall W and Fleiss Kappa test. As a result of the research; according to Angoff method, among judges' decisions, not high level but statistically significant concordance was determined. For Yes/No method among judges' decisions; there is moderate degree agreement in mathematics and substantial degree agreement in Turkish. Also; in terms of judges' decisions Yes/No method has higher agreement than Angoff method was determined at the end of the research.Keywords: Angoff, Yes/No, borderline group, cut-off score