Mesleki kıdemin kesme puanı belirlemeye etkisinin genellenebilirlik kuramı ve çok yüzeyli Rasch ölçme modeli ile incelenmesi

Abstract

Bu araştırmanın amacı puanlayıcıların çalışma yılı olarak ele alınan mesleki kıdem farklılıklarının, farklı standart belirleme yöntemleri ile elde edilen kesme puanlarına etkisini incelemektir.Araştırmada Millî Eğitim Bakanlığı tarafından 2014-15 ve 2015-1016 eğitim ve öğretim yıllarında sekizinci sınıf öğrencilerine ortak sınav şeklinde uygulanan Temel Eğitimden Orta Öğretime Geçiş sınavı 1. dönem matematik sorularının ayırt edicilik açısından en iyi 20 maddesinden oluşturulan çoktan seçmeli matematik başarı testi kullanılmıştır. Söz konusu test, Ankara ilindeki ortaokullardan seçkisiz örnekleme yöntemi ile belirlenen 907 sekizinci sınıf öğrencisine uygulanmıştır. Maddelerin Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile değerlendirilmesi amacıyla hazırlanan uzman değerlendirme formu ile aynı okullarda görevli ve hali hazırda sekizinci sınıflarda ders vermekte olan 40 matematik öğretmeninin değerlendirmeleri alınmıştır. Bu değerlendirmeler neticesinde elde edilen kesme puanları Genellenebilirlik Kuramı ve Çok Yüzeyli Rasch Ölçme Modeli ile analiz edilerek ortaya çıkan sonuçlar incelenmiştir.Yapılan analizler neticesinde; Angoff, Nedelsky ve Ebel standart belirleme çalışmalarında, mesleki olarak daha kıdemli olan puanlayıcı grubunun kesme puanları belirlemede göreceli olarak daha tutarlı olduğu görülmüştür. Kıdem seviyesinin artmasının yanı sıra puanlayıcı gruplarının çalışma yılı açısından homojenleşmesinin de belirlenen standartların tutarlılığını artırabileceği görülmüştür. Standart belirleme süreçlerinde kullanılan yaklaşımların ve süreçte yer alan puanlayıcıların değerlendirilmesinde Genellenebilirlik Kuramı ve Çok Yüzeyli Rasch Ölçme Modelinin birlikte kullanılmasının daha verimli olduğu ve araştırmacılara daha detaylı bilgiler sunabileceği sonucuna varılmıştır.

The aim of this research is to analyze the effects of raters' professional seniority differences approached as working years on cutting scores obtained with different standard setting methods.In this research, the math test which is composed of the best 20 questions, in terms of separation, prepared by Ministry of Education and applied to 8th grade students as a common exam named `TEOG (Passing on Secondary Education from Primary Education)` in 2014-15 and 2015-16 education years was used. This test was applied to 907 8th grade students which were determined by random sampling method in Ankara.An evaluation form was prepared to assess the questions with Angoff, Nedelsky and Ebel standard setting methods. With the help of this form, evaluations carried out by 40 teachers who work at the same school and attend 8th grade classes were taken. Cutting scores, acquired at the end of this evaluation, were analyzed with Generalizability Theory and Many-Facet Rasch Measurement Model.At the end of these analysis; in the standard setting studies of Angoff, Nedelsky and Ebel, it was seen that the raters group which was more senior as working years was more consistent in specifying cutting scores. It was seen that, apart from increase of the level of seniority, homogeneous rater groups can increase the consistency of standards.It was concluded that using both Generalizability Theory and Many-Facet Rasch Measurement Model in evaluation of approaches used in standard setting processes and raters in this process can be more fruitful and give more detailed information to the researchers.