Norm ve ölçüt dayanaklı değerlendirmelerin karşılaştırılmasına ilişkin bir çalışma

Abstract

Eğitim sistemi çerçevesinde kurumlar, bireylerin bir kapsam alanına ya da yapıya ilişkin yeterliliklerini ve seviyelerini belirlerken farklı değerlendirme yöntemleri kullanmaktadır. Bu araştırmada norm ve ölçüt dayanaklı değerlendirmeler sonucunda alınan kararların kullanılan değerlendirme yöntemine göre değişip değişmediği, ilişkisel türden araştırma modeli ile incelenmiştir. Veri toplama sürecinin ilk aşamasında, lisans düzeyinde ölçme ve değerlendirme dersine ilişkin geliştirilen 20 soruluk çoktan seçmeli başarı testi, 107 rehberlik ve psikolojik danışmanlık 2. sınıf öğrencisine uygulanmıştır. Uygulama sonucunda elde edilen ham puanlar, T puanına dönüştürülmüştür. T puanları, 50 ve 60 ölçütleri dikkate alınarak başarılı ve başarısız olacak şekilde sınıflandırılmıştır. İkinci aşamada ise ölçüt dayanaklı değerlendirme olan Angoff ve Nedelsky standart belirleme yöntemlerine ilişkin görüş almak için ölçme ve değerlendirme alanında uzman olan 14 kişiden faydalanılmıştır. Uzman görüşleri ile Angoff ve Nedelsky Yöntemleri doğrultusunda başarı ölçütünü gösteren iki farklı kesme puanı hesaplanmıştır. Başarı testinden elde edilen ham puanlar ise kesme puanları dikkate alınarak başarılı ve başarısız olacak şekilde sınıflandırılmıştır. Veri toplama sürecinin son aşamasında ise çalışmada uygulanan yöntemlerin uygunluk geçerliğini incelemek için öğrencilerin ölçme ve değerlendirme dönem sonu notları elde edilmiştir. Araştırmada kullanılan yöntemlere ilişkin kararların farklılığını ortaya koymak için bağımlı iki oran arasındaki fark, z testi ile sınanmıştır. Kullanılan yöntemlerin ders notları ile uyumu ise Cohen?in Kappa testi ile incelenmiştir. Başarılı öğrenci yüzdeleri, kullanılan değerlendirme yöntemine göre ikili olarak karşılaştırıldığında tüm değerlendirme yöntemleri arasında 0,01 düzeyinde anlamlı farklılıklar bulunmuştur. Bu doğrultuda norm ve ölçüt dayanaklı değerlendirmeler sonucu alınan kararlarda anlamlı farklılıklara ulaşılmıştır. Uygunluk geçerliği açısından ise sadece ölçüt dayanaklı değerlendirme olan Nedelsky Yöntemi?nin ders notlarıyla uyumlu olduğu, diğer yöntemlerin ise düşük uyuma sahip olduğu sonucuna ulaşılmıştır.Anahtar Sözcükler : Norm Dayanaklı Değerlendirme, Ölçüt Dayanaklı Değerlendirme, Angoff Yöntemi, Nedelsky Yöntemi

The institutions in education system use various assessment methods, while deciding the proficiency and the level of individuals in a particular content or construct. This correlational research model investigates that whether the decisions based on norm and criterion referenced assessment change by the type of assessment. In the first phase of data collection, the multiple choice achievement test, composed of 20 questions measuring the level of the lesson called measurement and evaluation, was applied to 107 guidance and psychological counseling second grade students. The raw scores of each student were transformed into T scores, and they were classified into two groups as successful and unsuccessful by comparing each T score with the norm referenced criterion of 50 and 60 scores. Secondly, the opinion of 14 experts in measurement and evaluation was asked to apply Angoff and Nedelsky Methods. Thanks to the opinion of the experts, two different cut scores, in fact which are the criterion of success, were obtained by Angoff and Nedelsky Methods. The sum of raw scores obtained by achievement test was classified into two categories as successful and unsuccessful by comparing each raw score with the cut scores. In the final process of data collection, the students? semester scores in measurement and evaluation were obtained to study the concurrent validity of each method of norm and criterion referenced assessment. The decisions based on the assessment methods were tested by z test, a statistical method measuring the meaning of difference between two dependent proportions. Afterwards, the concordance of the assessment methods with the semester scores was tested by Cohen?s Kappa.When the proportions of success based on the assessment methods were compared by z test, the results showed that each p-value was less than the value of alpha at 0,01. Accordingly, there are meaningful differences in the decisions based on norm and criterion referenced assessment. As for concurrent validity, Cohen?s Kappa Test results showed that the concordance was only between semester scores and Nedelsky Method, which is a criterion referenced assessment method, and there was low concordance between semester scores and other assessment methods.Key Words : Norm Referenced Assessment, Criterion Referenced Assessment, Angoff Method, Nedelsky Method