E-öğrenme ortamlarında bir öğrenme analitiği aracı olarak öğrenme panelleri ile etkileşimin öğrenme çıktılarıyla ilişkisi

Abstract

Bu araştırmada e-öğrenme ortamına bütünleşik, öğrenme analitiklerine dayalı bir öğrenme paneli geliştirilmiştir. Geliştirilen öğrenme paneli, öğrencilerin e-öğrenme ortamındaki etkileşim davranışlarını işleyip farklı veri görselleştirme teknikleri kullanarak görselleştirmektedir ve öğrencilere kendi öğrenme süreçlerine ilişkin anlık bilgi vermektedir. Bununla birlikte öğrencilere, e-öğrenme ortamındaki davranışlarını modelleyerek tahmini başarıları bildirilmektedir ve kendi öğrenme süreçlerini destekleyici nitelikte öneriler sunmaktadır. Araştırma kapsamında, (1) geliştirilen öğrenme panelinin kullanımı, (2) öğrenci-öğrenme paneli etkileşiminin e-öğrenme ortamındaki öğrenme yaşantısının bir boyutu olup olmadığı ve (3) sağlanan etkileşimin öğrenme çıktılarıyla ilişkisi incelenerek değerlendirilmiştir. Araştırma, Hacettepe Üniversitesi ve Karadeniz Teknik Üniversitesi'nin BÖTE öğretim programlarında 2014-2015 Bahar Dönemi Bilgisayar Ağları ve İletişim dersine kayıtlı 126 öğrencinin gönüllü katılımı ile yürütülmüştür. Uygulama süreci toplam 12 hafta sürmüştür. Açık kaynak kodlu öğrenim yönetim sistemlerinden Moodle 2.8 sürümü kullanılarak BagilLab e-öğrenme ortamı kurulmuştur. BagilLab e-öğrenme ortamı, öğrenme sürecinde etkileşimin üst düzeyde gerçekleşmesi ve öğretim sürecinin etkili olabilmesi için yeniden düzenlenmiştir. E-öğrenme ortamında; farklı türde ders kaynakları, sınama etkinlikleri, tartışma etkinlikleri, öğrenme görevleri, duyuru panosu, BagilLab sözlüğü, aktif form mesajları, çevrimiçi kullanıcılar, sohbet ve mesajlar bileşenleri mevcuttur. Öğrencilerin e-öğrenme ortamındaki etkileşim davranışlarına ilişkin kayıtlar veri tabanında saklanmıştır. Araştırma problemlerini yanıtlayabilmek için araştırma kapsamında üç farklı veri kaynağı kullanılmıştır. E-öğrenme ortamından elde edilen öğrenci etkileşim davranışlarını yansıtan 34 değişkene ilişkin veri toplanmıştır. Bununla birlikte öğrencilerin akademik performans puanlarını belirlemek için dönem sonu ders geçme notları dikkate alınmıştır. Öğrencilerin ilgili ortama ilişkin memnuniyet düzeyini belirlemek için Aşkar, Altun ve Ilgaz (2008) tarafından geliştirilen Memnuniyet Ölçeği kullanılmıştır. Araştırmanın birinci alt problemi için temel bileşenler analizi ve hiyerarşik faktör analizi, ikinci araştırma problemi için fark testleri, üçüncü alt problem için veri madenciliği yöntemlerinden kümeleme analizi ve dördüncü alt problem için veri madenciliği yöntemlerinden sınıflama analizi ve regresyon analizi yapılmıştır.Araştırma sonucunda; öğrencilerin e-öğrenme ortamındaki etkileşimlerinin altı boyutlu bir yapı olarak tanımlanabileceği ve altı alt boyutun bütüncül olarak bir öğrenme yaşantısı örüntüsü sergilediği belirlenmiştir. Öğrencilerin öğrenme paneli ile etkileşimi, e-öğrenme ortamındaki öğrenme yaşantılarının anlamlı bir boyutunu oluşturduğunu göstermektedir. Öğrenme yaşantılarının öğrencilerin akademik performans düzeylerine (dersi geçme/dersten kalma) durumuna göre farklılaştığını, memnuniyet düzeyine göre ise farklılaşmadığı belirlenmiştir. Kümeleme analizi sonucunda, öğrenme paneli ile etkileşime dayalı verilere göre öğrencilerin benzer davranış örüntüsü gösteren dört gruba ayrıldığını göstermektedir. İlgili kümeler akademik performanslar ile ilişkili olarak profillendiğinde de benzer bir örüntü ortaya çıkmıştır. Tahmin analizlerinde; öğrenme paneli ile etkileşimin öğrencilerin akademik performanslarını etkilediği, öğrenme paneli 4'ün en yüksek etki oranına sahip olduğu sonucuna ulaşılmıştır. Kurulan sınıflama modellerinin performans metrikleri açısından geçerli olduğu, yapay sinir ağları algoritmasının öğrencilerin akademik performansı tahmin etmede en iyi performansı gösterdiği belirlenmiştir. CN2 kurallar algoritması ile öğrenme paneli ile etkileşim değişkenleri kullanılarak öğrencilerin akademik performans durumlarını tahmin etmeye dönük kurallar geliştirilmiştir. Elde edilen sonuçlar, öğrenme panellerinin e-öğrenme ortamlarında kullanımının öğrenme çıktıları açısından önemli olduğunu göstermektedir. Geliştirilen öğrenme panelinin hem e-öğrenme sürecine ilişkin bilgi üretme hem de tahmin edilen başarıya dayalı olarak öneri sunan araç geliştirme açısından öğrenme analitiği ve kişiselleştirilebilir öğrenme alanyazınına katkı sağladığı söylenebilir.

In this study, a predictive learning dashboard integrated in an e-learning environment was developed in house as a learning analytics tool. Students can track their activities, monitor interaction data by dashboards utilized by different visualization techniques, compare self-performance with their peers, and are provided real-time information in relevant to their learning processes. In addition, the predictive learning dashboard can display students' predicted academic performance by modelling interaction behaviours embedded in the e-learning environment in order to give recommendations during their learning process. Thus, this study investigated whether (1) students' patterns of learning dashboard usage, (2) students' interaction with the learning dashboard is a predictor outcome of a learning experience and, (3) what extend this interaction embedded within the learning dashboard correlated their learning outcomes. The participants of the study consisted of 126 university students enrolled in the 12-week Computer Networks and Communication course during 2014 – 2015 spring term at Hacettepe University, Department of CEIT and Karadeniz Technical University, Department of CEIT. An e-learning environment named BagilLab was created using an open source learning management system (Moodle v.2.8.). The e-learning environment was re-designed adding new educational components to maximize interaction and experience effective learning process. The students' interaction data were stored in the system database during 12 weeks. Three data sources were used to answer the research problems. Data were collected from the environment through 32 variables reflecting the students' interaction behaviours. Students' academic performance were gathered by using students' course grades. A satisfaction scale (Aşkar, Altun, & Ilgaz, 2008) were used to measure satisfaction specific to this e-learning environment. The analyses included principal component analysis and hierarchical factor analysis to conduct feature reduction and to observe the structural validity of measurement model for first research problem. For the second research problem, statistical difference tests were used. In third research problem, we analyzed data through clustering analysis. For the last research problem, regression and classification analysis were conducted to predict academic performance. As the result of the study, it is determined that the students' interactions in e-learning environments can be explained in six factors, leading to an upper construct: Learning experiences. It is determined that learning experiences differ based on students' academic performance levels (pass/fail) but not on satisfaction levels. The result of cluster analysis, based on the data related to interaction with learning dashboard, show that students were separated into four groups having similar behavioral patterns. A similar pattern appears, too when the related clusters are profiled with academic performances. At predictive analysis, it is determined that the interaction with learning dashboard effects students' academic performances and learning dashboard 4 has the biggest effect rate. It is determined that classification models are valid in terms of performance metrics and artificial neural networks algorithm have yielded the best performance for predicting students' academic performance. The rules for predicting academic performance situations of interaction with learning dashboard variables developed by CN2 rules algorithm. The results show that the usage of learning dashboards in e-learning environments is important in terms of learning outcomes. It can be argued that learning dashboards will contribute to learning analytics and personalized learning literature in terms of both generating information related to e-learning process and developing solid recommendation tools based on predicted achievement.