Çevrimiçi öğrenme ortamındaki etkileşim verilerine göre öğrencilerin akademik performanslarının veri madenciliği yaklaşımı ile modellenmesi

Abstract

Bu çalışma kapsamında çevrimiçi öğrenme ortamındaki etkileşim verileri kullanılarak öğrencilerin akademik performanslarının veri madenciliği yöntemleri ile modellenmesi amaçlanmıştır. Öğrenci performansının çevrimiçi ortamdan elde edilen değişkenlere göre modellenmesi, dersi bırakma eğilimi olan öğrencilerin ve dönem sonundaki olası başarısızlıkların erkenden tahmin edilmesi açısından önemlidir. Bu modeller uyarlanabilir öğrenme ortamlarında aktivite düzeylerine göre öğrencilerin otomatik olarak sınıflandırılmasında ya da otomatik uyarlamalar yapılması amacıyla kullanılabilir. Aynı zamanda geleneksel sınıf ortamları ile karşılaştırıldığında öğrenci sayısının çok daha fazla olduğu çevrimiçi öğrenme ortamlarında öğrencilerin akademik performanslarının izlenmesi açısından da önemlidir.Çalışmaya 2013 - 2014 ders yılı güz döneminde Hacettepe Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi (BÖTE) bölümü 2. sınıf öğrencilerinden Bilgisayar Donanımı dersine kayıtlı 76 öğrenci katılmıştır. Öğrenciler 14 hafta süresince yüz yüze derslere ek olarak ders dışı tüm etkinlikleri (yansıma yazma, tartışmalara katılım, kaynak takibi vb.) gerçekleştirmek amacıyla araştırmacılar tarafından tasarlanan ve geliştirilen çevrimiçi öğrenme ortamını kullanmışlardır. Ortamdan toplanan veriler kullanılarak ortamdaki öğrenci davranışlarını yansıtan 28 adet değişken belirlenmiştir. Öğrencilerin akademik performansı ise geçti - kaldı şeklinde kodlanmıştır.Birinci araştırma sorusu kapsamında farklı sınıflama algoritmaları ve ön işleme yöntemleri karşılaştırılarak öğrencilerin dönem sonu akademik performanslarını en iyi tahmin edecek algoritma ve değişkenlerin belirlenmesi amaçlanmıştır. Bir diğer araştırma problemi kapsamında bu değişkenler ve seçilen algoritma kullanılarak öğrencilerin akademik performanslarının daha önceki haftalarda tahmin edilip edilemeyeceği araştırılmıştır. Son araştırma problemi kapsamında ise çevrimiçi öğrenme ortamında benzer davranış örüntüsü sergileyen öğrenci gruplarının belirlenmesi ve bu grupların akademik performans ile ilişkisi araştırılmıştır. Verilerin analizinde veri tabanlarındaki gizli örüntü ve bilgileri ortaya çıkartmak amacıyla yaygın olarak kullanılan veri madenciliği yöntemlerinden yararlanılmıştır. Tahmin analizleri sınıflama algoritmaları yardımıyla yapılırken benzer öğrenci gruplarını belirlemek amacıyla kümeleme algoritmalarından yararlanılmıştır. Tahmin analizlerinde sonuçların genelleştirilmesi için ve kümeleme analizlerinde optimum küme sayısını belirlemek için çapraz geçerlilik yöntemi kullanılmıştır.Araştırma sonuçları öğrencilerin çevrimiçi öğrenme ortamındaki etkileşim verileri kullanılarak dönem sonundaki akademik performanslarının başarılı bir şekilde tahmin edilebileceğini göstermiştir. En yüksek doğru sınıflama oranına veriler eşit genişlik yöntemine göre kesikli hale dönüştürüldüğü durumda ve gini indeksine göre seçilen ilk 10 değişkenin kullanıldığı durumda ulaşılmıştır. Bu durumda CN2 kuralları ve kNN algoritmaları dersten kalan ve geçen öğrencilerin %86'sını doğru olarak sınıflamıştır. Öğrencilerin dönem sonu akademik performanslarının daha önceki haftalardan tahmin edilip edilemeyeceği ile ilgili analizler incelendiğinde ise üçüncü hafta gibi kısa bir sürede bunun %74 oranında doğru olarak tahmin edilebileceği görülmüştür. Kümeleme analizleri ile ilgili sonuçlar incelendiğinde ise öğrencilerin çevrimiçi öğrenme ortamında gerçekleştirdikleri aktivitelere göre ideal olarak üç farklı kümeye ayrıldığı görülmüştür. Bu kümelerin tanımlanması konusunda ise iki farklı yaklaşım izlenmiştir. İlk olarak elde edilen kümeler her bir kümede yer alan öğrencilerin aktivite düzeylerine göre Aktif Olmayan, Aktif ve Çok Aktif şeklinde adlandırılmıştır. Daha sonra bu kümelerin akademik performans ile ilişkisi incelenmiş ve ortamda daha az aktivite gösteren öğrencilerin derste düşük başarı sergiledikleri (Düşük Öğrenme), orta düzeyde aktivite gösteren öğrencilerin derste orta düzeyde başarı sergiledikleri (Orta Öğrenme) ve yüksek düzeyde aktivite gösteren öğrencilerin derste yüksek başarı (Yüksek Öğrenme) sergiledikleri sonucuna ulaşılmıştır.Anahtar kelimeler: Akademik performans tahmini, erken uyarı sistemi, öğrenci gruplama, çevrimiçi öğrenme ortamı, eğitsel veri madenciliği, öğrenme analitiği.

The purpose of this study is to model students' academic performance based on their interaction data in an online learning environment with the help of data mining techniques. Academic performance modeling based on variables that has been extracted from online learning environment is important especially to the early prediction of students' drop-out and probable failure in the learning environment. Moreover, these models can be used to classify students' automatically or to make an automatic adaptation based on their activity level in an adaptive learning environment. Teachers can use these models to monitor their students' learning progress in an online learning environment which have more students than traditional classrooms.The participants of the study consist of 76 university students enrolled in the Computer Hardware course in 2013 – 2014 fall term at Hacettepe University, Department of Computer Education and Instructional Technology (CEIT). In addition to face to face classes during the course of 14 weeks, the students conducted all other activities (writing reflections, participating in discussions, following course resources, etc.) in the online learning environment which has been designed and developed by researchers. Using the data collected from the environment, 28 variables were created reflecting student behavior in the environment. The academic performance of the students were coded as passed or failed. As a part of the first research question, it was aimed to compare different classification algorithms and pre-processing methods in order to find the best algorithms and the best predictors of students' end of year academic performance. In another research question, it was investigated if it is possible or not to predict students' academic performance in previous weeks with the help of selected predictors and algorithms. In the last research question, we try to find different groups of students who exhibit similar behavior patterns in an online learning environment via clustering; relationships between these clusters and academic performance were examined as well. In data analysis, data mining methods and techniques that are widely used to extract hidden patterns and knowledge out of the data set were used. Prediction analyses were performed with the help of classification algorithms, however, clustering algorithms were used to group similar students. In order to generalize the results obtained in prediction analysis and to find the optimal cluster count in clustering analysis, cross validation method was used.The results of the study showed that students' academic performance at the end of the year could be predicted successfully based on their interaction data in an online learning environment. The highest classification accuracy was achieved when continuous variables were turned into categorical variables via equal width discretization method and the top 10 ranked variables were used according to Gini Index. In this case, CN2 rules and kNN algorithms classify correctly 86% of students who failed and passed the course. When results related to early prediction of students' end of year academic performance are examined, it can be seen that by the third week, 74% of students can be accurately classified. When examining the results of the cluster analysis, it was observed that students ideally divided into three different clusters according to the activities carried out in the online learning environment. Regarding the identification of these clusters, two different methods were followed. Firstly, the resulting clusters were named according to the students' activity levels: Non-active, Active and Very Active. Then, these clusters' relationships with academic performance were examined. It was found that students with lower activities in the environment had a lower course success (Low Learning); students with moderate activities in the environment had a moderate course success (Medium Learning); and students with higher activities in the environment had a higher course success (High Learning).Keywords: Academic performance prediction, early warning system, groupingstudents, online learning environment, educational data mining, learning analytics.