Akran değerlendirmesinin uzaktan eğitimde kullanımı ve akademik başarıya etkileri

Abstract

Bu araştırmanın genel amacı alternatif bir değerlendirme yöntemi olan akran değerlendirmesinin uzaktan eğitim ortamlarında kullanımını ve akademik başarıya etkilerini araştırmaktır. Araştırmaya öncü olan problemler; uzaktan eğitimde kullanılan ölçme ve değerlendirme araçlarının yeterince çeşitlilik göstermemesi ve uzaktan eğitimin zaman-mekân bağımsızlığı ile kitlesellik kabiliyetleri gözetilerek başarılı bir ölçme faaliyetinin yürütülmesi konusunda bir takım zorlukların yaşanmasıdır. Belirtilen problemler doğrultusunda öncelikle çevrimiçi bir akran değerlendirmesi uygulaması geliştirilmiştir. Geliştirilen uygulama 106 uzaktan eğitim öğrencisinin, 6 hafta boyunca akran değerlendirmesi gerçekleştirmesinde kullanılmıştır.Araştırmada karma yöntem yaklaşımı temel alınmıştır. Araştırma süresince elde edilen nicel veriler ve nitel veriler birlikte yorumlanarak araştırma problemiyle ilgili daha geniş bir bakış açısının kazanılması amaçlanmıştır. Araştırmada öğrencilerin; akran değerlendirme davranışları, akran puanlama davranışları, dönüt verme davranışları ve değerlendirici güvenirlikleri araştırılmıştır. Araştırmanın sonucunda hem akran değerlendirmesine hem de uzman değerlendirmesine tabi tutulan grup ile yalnızca uzman değerlendirmesine tabi tutulan grubun akademik başarıları arasında anlamlı bir fark olup olmadığı incelenmiştir. Ayrıca akran değerlendirmelerini gerçekleştiren öğrenciler ve uzman değerlendirmelerini gerçekleştiren öğretim elemanı ile görüşmeler gerçekleştirilerek nitel bulgulara ulaşılmıştır.Araştırma sonucunda akran değerlendirmesinin akademik başarıyı arttırdığı ve öğrencilerin öğrenmeleri üzerinde olumlu bir etki yarattığı sonucuna ulaşılmıştır. Araştırmanın nicel bulguları ışığında öğrencilerin akranlarına verdikleri puanların, uzman tarafından verilen değerlendirme puanlarından düşük olduğu ve uzman değerlendirmelerinin daha kapsamlı dönütler içerdiği söylenebilir. Değerlendirici güvenirliğine ilişkin olarak gerçekleştirilen Cohen'in Ağırlıklı Kappa analizleri sonucunda ise ortalama değerlendirici güvenirliği .297 olarak tespit edilmiştir. Bu bulgular ışığında öğrencilerin büyük bir çoğunluğunun uzman ile vasat ve orta düzeyde anlaşma gösterdikleri söylenebilir. Gerçekleştirilen yüzdeler anlaşması analizi ise öğrencilerin uzman ile ağırlıklı olarak %41 ile %60 arasında anlaşma gösterdiklerini ortaya koymuştur.Araştırmadan elde edilen nitel bulgular öğrencilerin; değerlendirmelerin adaleti hakkında kaygılar taşıdığını, uygulamayı oldukça öğretici ve faydalı bulduklarını ve uzman yorumlarını akran yorumlarından daha fazla önemsediklerini ortaya koymuştur. Uzman değerlendirmelerini gerçekleştiren öğretim elemanı da benzer bir şekilde akran değerlendirmesinin etkili bir öğretim yöntemi olduğunu belirtmiştir.

The purpose of this research is to a) investigate the use of peer assessment as an alternative assessment method in a distance education course and b) its effects on students' academic success. Lack of diversity of measurement and assessment tools used in distance education and issues with maintaining assessment activities concerning the advantages of distance education such as time and place independence are major problems leading to this research. An online web application has developed for online peer reviews in accordance with stated research problems. The application has been used for six weeks for peer assessment activities of 106 students enrolled in a distance education programme.The research was conducted in mixed method design. Qualitative and quantitative data interpreted together during the research in order to gain a better understanding about the problems of the research. Peer assessment, peer grading and feedback giving behaviors of students and rater reliabilities are investigated. Statistical significant difference between academic successes of groups assessed both by peers and an expert and assessed only by an expert is investigated in the end of the research. Qualitative findings were obtained from analysis of the focus group interviews with peer assessors and interview with the expert.The results of the study revealed that peer assessment activities had positive impacts on learning and increased students' academic success. In light of the quantitative findings obtained, peer grades were found slightly lower than expert grades and expert feedbacks were found to be more comprehensive. Weighted linear Cohen's Kappa analyses were conducted to determine interrater reliabilities and the average rater reliability was found .297. Findings of interrater reliability analyses concluded fair and moderate level agreements among vast majorities of raters. Furthermore findings of percentage agreement analyses concluded an average agreement between 41% and 60% among raters.Qualitative findings of this research presented the concerns of students about the fairness of the ratings. Besides that findings of this research presented the efficacy of peer assessments on learning, instructiveness and usefulness of application from students' perspectives and revealed that students take expert feedbacks into consideration more than peer feedbacks. Findings from the interviews also revealed thoughts of the expert on instructiveness and usefulness of peer assessment.