Evet / Hayır, Ebel ve İşaretleme Standart Belirleme yöntemlerinin karşılaştırılması

Abstract

Bu araştırmada Evet/Hayır, Ebel ve İşaretleme standart belirleme yöntemleriyle elde edilen geçme puanları ve uzmanlardan alınan kararlar çeşitli açılardan karşılaştırılmıştır. Araştırmanın öğrenciler ve uzmanlardan oluşan iki farklı veri grubu vardır. Araştırmada veri toplama aracı olarak 9. sınıf `Kümeler` ünitesinin sorularından oluşan 20 soruluk çoktan seçmeli test geliştirilmiştir. Ayrıca her bir uzmanın üç farklı standart belirleme yöntemine göre verdiği kararları almak için bilgilendirme formları ve sürecin değerlendirilebilmesini sağlayan anket kullanılmıştır. Araştırma kapsamında geliştirilen başarı testini 505 9. sınıf öğrencisi cevaplamış ve 30 uzmandan bu başarı testindeki maddeler için üç yönteme göre ayrı ayrı görüşler alınmıştır. Araştırmada, üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasında fark olup olmadığı bağımlı iki oran arasındaki farkın testiyle, bu farkın anlamlılığı ise z testiyle sınanmıştır. Üç yöntemle elde edilen geçme puanlarına göre öğrencilerin puanları başarılı-başarısız olarak sınıflandırılmış ve yöntemler arasındaki uyuma Cohen'in Kappa istatistiğiyle bakılmıştır. Uzmanların Ebel yönteminde verdikleri madde güçlük değerleri ile gerçek güçlük değerleri arasındaki ilişkiyi bulabilmek için Pearson momentler çarpımı korelasyon katsayısına bakılmıştır. Her bir yöntem için uzman kararları arasındaki uyuma Fleiss'in Kappa istatistiği ve Kendall'ın uyuşma katsayısı ile bakılmıştır. Uzmanlar; deneyim durumu, cinsiyet ve uzmanlık alanlarına göre ayrılmış ve uzman özelliklerine göre belirlenen geçme puanlarının değişip değişmediği bağımsız gruplar t testi ile incelenmiştir. Araştırmada ayrıca uzmanların standart belirleme süreciyle ilgili görüşleri, yapılan anketle belirlenmiştir.Araştırmanın sonucunda üç farklı standart belirleme yöntemine göre belirlenen geçme puanları ve belirlenen geçme puanlarına göre başarılı sayılan öğrenci yüzdeleri arasında istatistiksel olarak anlamlı farklar olduğu bulunmuştur. Bu üç yöntemle elde edilen geçme puanlarına göre öğrencilerin başarılı-başarısız olarak sınıflanma durumları arasında Evet/Hayır ve Ebel yöntemleri arasında makul, Evet/Hayır ve İşaretleme yöntemleri arasında mükemmel, İşaretleme ve Ebel yöntemleri arasında makul bir uyum olduğu bulunmuştur. Ebel yönteminde uzmanların maddelere verdikleri güçlük değerleri ile gerçek veriden hesaplanan güçlük değerleri arasında istatistiksel olarak anlamlı, pozitif ve yüksek düzeyde bir ilişki olduğu görülmüştür. Evet/Hayır ve Ebel yöntemiyle belirlenen geçme puanları açısından uzmanlar arasında orta derecede uyum varken İşaretleme yönteminde uzmanlar arasındaki uyumun makul düzeyde olduğu görülmüştür. Uzmanların deneyim durumuna, cinsiyetine ve çalıştıkları pozisyona göre belirlenen geçme puanları arasındaki farklar incelenmiş ancak istatistiksel olarak anlamlı farklılıklar bulunamamıştır. Uzmanların standart belirleme süreciyle ilgili görüşlerini almak için yapılan anketin sonucunda sürecin tamamıyla ilgili bilgilendirmenin, yapılan tanımların ve verilen örneklerin yeterli olduğu sonucuna ulaşılmıştır. Uzmanların çoğu Ebel yönteminde zorlanırken en rahat karar verilen yöntem Evet/Hayır yöntemi olarak belirlenmiştir.

In this study, passing scores obtained through Yes/No, Ebel and Bookmark standard setting methods as well as decisions made by the experts have been compared in various dimensions. The study has two different data groups composed of students and experts. In the study, a multiple choice test of 20 questions composed of the questions of 9th year class' `Sets` unit has been developed as a data collection tool. Moreover; information forms have been used in order to get the decisions made by each expert in accordance with three different standard setting methods; also and a survey has been used in order to be able to make an assessment about the process. 505 9th year students have answered the achievement test developed within the scope of the study and separate opinions have been obtained from 30 experts in accordance with these three methods for the items in this achievement test. In the study, any difference among the percentages of the so-called successful students in accordance with three different standard setting methods has been examined through testing the difference between two dependent ratios while the significance of this difference has been examined through z test. In accordance with the passing scores obtained through three methods, the scores of the students have been classified as successful and unsuccessful and the consistency between the methods has been examined through Cohen's Kappa statistics. Pearson product-moment correlation coefficient has been referred in order to find the relationship between item difficulty values and real difficulty values provided by the experts in Ebel method. For each method, the consistency among the expert decisions has been examined though Fleiss' Kappa statistics and Kendall's coefficient of concordance. Experts have been divided in accordance with their experience, gender and fields of specialization and any change in the passing scores determined by the expert characteristics has been examined through t test of independent groups. Furthermore; opinions of the experts about standard setting process have been determined through a survey carried out in the study.As a result of the study, it has been found that there are statistically significant differences between the passing scores and the percentages of the so-called successful students in accordance with these scores determined in accordance with three different standard determination methods. When the students classified as successful-unsuccessful in accordance with the passing scores obtained through these three methods, there is reasonable consistency between Yes/No and Ebel methods; there is an excellent consistency between Yes/No and Bookmark methods and finally there is a reasonable consistency between Bookmark and Ebel methods. It has been found that there is a statistically significant, positive and a high level of relationship between difficulty values assigned by the experts to the items in Ebel method and difficulty values calculated out of the real data. It has been realized that while there is an adequate level of consistency among the experts in terms of passing score determined Yes/No and Ebel methods, there is a reasonable level of consistency among the experts in Bookmark method. Differences among the passing score determined in accordance with the experience, gender and working positions of the experts have been examined; but no statistically significant differences have been found. As a result of the survey carried out in order to get the opinions of the experts about the standard setting process, it has been concluded that information, descriptions and examples regarding the whole process are adequate. While the majority of the experts have had difficulty in Ebel method, it has been determined that Yes/No method is the easiest method to apply.