Using learning analytics to track learning process in virtual math teams (VMT) online environment

Abstract

Bu çalışma, Türkiye'de bir üniversitede 2013-2014 güz yarıyılında yüksek lisans seviyesinde verilen Araştırma Yöntemleri ve İstatistik dersi kapsamında gerçekleştirilmiştir. Ampirik araştırma ve deney tasarımı ile ilgili temel kavramları anlatmayı hedefleyen bu derste öğretim yüzyüze verilmiş olup, ödevler ortaklaşa olarak çevrimiçi ortamda gerçekleşmiştir. Derse 15 öğrenci kayıt olmuştur. Her öğrenci bir gruba atanmış ve toplam 5 grup oluşturulmuştur. Tüm gruplardan ödevlerini bilgisayar destekli ortaklaşa öğrenme ortamı olan Virtual Math Teams(VMT) ortamında çevrimiçi ve ortak çalışarak tamamlanması istenmiştir. Ödevlerin çözümü için gruplar sohbet ortamında çalışmış ve cevaplarını wiki ortamında paylaşmışlardır.Bu çalışmada, VMT ortamında gerçekleşen ortaklaşa öğrenme sürecinin analizi için sosyo-teknik yaklaşım kullanılmıştır. Detaylandırmak gerekirse, öğrenme analitikleri yöntemleri kullanılarak bir dönemlik istatistik dersinde öğrenci gruplarının sohbet ve wiki ortamlarında kavramsal gelişimleri araştırılmıştır. Nitel ve nicel yöntemler birlikte kullanılarak sohbet kayıtlarının ve wiki çıktılarının analizi gerçekleştirilmiştir. Sohbet kayıtlarının analizi kapsamında, kayıtların bölümlere ayrılması için segmentasyon analizi, bölümlerin konularının belirlenmesi için konu tespit ve öğrencilerin kavram gelişiminin izlenmesi için etkileşim analizleri kullanılmıştır. Wiki içeriğinin analizi için içerik analizi kullanılarak, içeriğin soru cevabı için yeterliliği belirlenmiştir. Ayrıca, wiki içeriği sohbet ortamında bildirilen çözüm ile karşılaştırılmış, böylece wiki ortamında paylaşılan son çözümdeki ekleme ve çıkarmalar tespit edilmiştir.

The study has been conducted in the context of a graduate level Research Methods & Statistics course during 2013-2014 fall term in a large state university in Turkey. Aiming to introduce basic concepts of empirical research and experimental design, the course was structured in a way that the instruction was provided face-to-face and assignments were collaboratively completed online. There were 15 registered students in the course. Each registered student was assigned to a learning group and five teams were constructed in total. All teams were required to complete course assignments by collaboratively working online in a computer supported collaborative learning environment called Virtual Math Teams (VMT). For the solutions of the assignments, teams interacted in the chat environment and provided solutions as the wiki output.In this study, we employ a socio-technical approach to analyze the collaborative learning process taking place in the VMT that offers chat and wiki features. More specifically, we explored the use of learning analytic methods to investigate learning groups' conceptual development in chat and wiki environments in the context of a semester long statistics course. We employed both quantitative and qualitative methods to analyze chat logs and wiki outputs. For the analysis of chat logs, our approach consists of segmentation analysis to divide chat logs into segments, topic detection for identifying focus of segments, and interaction analysis of episodes for tracking learners' development of concepts. For the analysis of wiki content, we employed the content analysis and revealed the sufficiency of the content for the solution of the question. In addition, we compared the wiki content with the solutions proposed in the chat environment, hence explored the additions or removals in the finalized solution provided in the wiki environment.