Öğrenci başarısının belirlenmesinde kullanılan farklı ölçme araçlarından elde edilen puanların karşılaştırılması

Abstract

Araştırmanın temel amacı; genellenebilirlik kuramına göre öğrencilerin performanslarının ölçülmesinde kullanılan farklı ölçme araçlarının G ve K çalışmaları sonuçlarını karşılaştırmaktır.Araştırmanın çalışma grubunu, 2013- 2014 öğretim yılı Kars il merkezinde bulunan Atatürk Ortaokulu'nda öğrenim gören sekizinci sınıf öğrencilerinden rastgele seçilmiş 48 öğrenci oluşturmaktadır. Öğrencilere araştırmacı tarafından geliştirilen çoktan seçmeli test ve klasik sınavın uygulandığı araştırmada, ölçme araçlarının puanlanmasında üç puanlayıcı görev almıştır. Klasik sınavı üç farklı puanlayıcı puanlamış ve ölçme sonuçları üzerinde G ve K çalışması yapılmıştır. Elde edilen sonuçlar, uygulanan çoktan seçmeli ve klasik sınav için karışan hata varyanslarının klasik sınavda daha çok olduğunu, puanlama ortalamasına bakıldığında ise çoktan seçmeli teste ait puan değerlerinin daha yüksek olduğunu ve varyans değerlerinin iki sınav için de paralellik gösterdiğini ortaya koymuştur. Araştırmada ayrıca klasik sınav için farklı puanlayıcıların puanları arasındaki fark tespit edilmeye çalışılmıştır. Bunun yanı sıra karar çalışması yapılarak her iki ölçme aracı için bulunan G ve Phi katsayılarındaki farklılıklar incelenmiştir. Buna göre, her iki ölçme aracı için sonuçlar paralellik göstermektedir. Çoktan seçmeli test ve klasik sınav için yapılan karar çalışması sonuçlarına göre madde sayısının arttırılması halinde Phi ve G katsayılarının arttığı; yapılan genellenebilirlik çalışmasına göre her iki sınav türü için de ana varyans kaynağı açısından öncelikli etkinin bireylerden kaynaklandığı görülmüştür. Ayrıca araştırmada farklı puanlayıcılarla tutarlı sonuçlar elde edildiği görülmüştür. Buna göre, soru sayısının arttırılmasındansa puanlayıcı sayısının arttırılmasıyla elde edilen güvenirliğin klasik sınav için daha yüksek olacaktır. Soru sayısını artırılması yazılı sınavların okunmasını güçleştirdiğinden imkanları zorlayarak puanlayıcı sayısının arttırılması önerilmiştir. Anahtar Kelimeler: Genellenebilirlik Kuramı, Klasik Sınav, Başarı.

This is a generalizability study, measuring students' performance through different measurement tools and comparing the finding through G theory and K in order to identify the errors associated with the raters and items to improve the future applications.The sample consisted of 48 randomly selected 8th graders, registered to Atatürk Secondary School, located in the center of Kars province during 2013-2014 academic year. Two different types of exams (a multiple choice test and an essay) prepared by the researcher were applied to students. Three raters graded the students' exams. Essays were scored by three different raters and G and K analyses were performed on the results.According to the findings, the error rate was higher for the essays in comparison to multiple choice test. The mean score was higher for the multiple choice test, on the other hand the variances were found to be similar. For the essays, there were no differences among the scores given by different coders. Decision studies indicated that the findings were in line for both type of the measurements according to G and Phi coefficients. The results indicated that increasing the number of item were resulted in an increase in the G and Phi coefficients. According to the findings, the Person Factor was the main source of the variation in the data for both measurement type. As the findings indicated consistent result among the coders, we suggest to increase the number of coders rather than increasing the number of questions for the essay. Considering the excessive work, associated with grading an essay with more question, when available, it can be better to increase the number of raters.Key Words: Generalizability Theory, Essay, Success.