Multi-dimensional evaluation of e-learning systems in the higher education context: Empirical investigations

Abstract

Literatürde hem uzaktan eğitim hem de harmanlanmış eğitim ortamlarında kullanılan e-öğrenme yönetim sistemlerinin etkililiğinin ölçülmesi üzerine çok az araştırma bulunmaktadır. Bu sebele bu çalışmada e-öğrenme yönetim sistemlerinin çok boyutlu bir yaklaşımla ölçülülmesi konusuna yoğunlaşılmıştır, Bu kapsamda, Altıgen E-öğrenme Değerlendirme Modeli (HELAM) sunulmuştur. HELAM modeli 6 temel boyuttan oluşmaktadır. (1) Sistem Kalitesi; (2) Servis Kalitesi; (3) İçerik Kalitesi; (4) Öğrenci Tutumu; (5) Eğitmenin Tutumu; (6) Destek Etmenleri. HELAM modeli temel alınarak 73 soruluk bir anket geliştirilmiştir. Bu anket İngiltere'deki Brunel Üniversitesi'nde U-Link adlı e-öğrenme yönetim sistemini kullanan lisans ve yüksek lisans öğrencilerine ve Türkiye'de Orta Doğu Teknik Universitesi'nde NetClass adlı e-öğrenme yönetim sistemini kullanan lisans ve yüksek lisans öğrencilerine olmak üzere toplamda 374 kişiye uygulanmıştır. Hazırlanan ankete bir çok güvenilirlik ve geçerlilik testi uygulanmıştır. Açıklayıcı ve doğrulayıcı etken çözümlemesi adı verilen istatistiksel metodlar ile modelin çok boyutluluğu değerlendirilmiş ve sonuçlar sunulan HELAM modeli boyutları ile örtüşmüşlerdir. HELAM modelinin doğrulanması için yapısal eşitlik modellemesi adı verilen istatistiksel analizi kullanılmış ve sonuçlar HELAM modelinin uygunluğunu kuvvetli bir şekilde desteklemişlerdir. Bunlara ek olarak, ODTÜ ve Brunel Universiteleri'nde uygulanan anket sonuçları değerlendirilmiş, sonuçlar yorumlanmıştır. Tüm bu sonuçlar e-öğrenme yönetim sistemlerinin çok boyutlu yaklaşımla ölçülmenin önemini vurgulamıştır. Sunulan HELAM modeli gelecek e-öğrenme çalışmalarına ışık tutacak niteliktedir.

There has been little research on assessment of learning management systems (LMS) within educational organizations as both a web-based learning system for e-learning and as a supportive tool for blended learning environments. This study proposes a conceptual e-learning assessment model, HELAM (Hexagonal e-Learning Assessment Model) suggesting a multi-dimensional approach for LMS evaluation via six dimensions: (1) system quality, (2) service quality, (3) information (content) quality, (4) learner perspective, (5) instructor quality, and (6) supportive issues. A survey instrument based on HELAM has been developed and applied to 374 learners. This sample consists of students at both undergraduate and graduate levels who are users of a web-based learning management system, U-Link, at Brunel University, UK and NetClass LMS at METU, Turkey. The survey instrument has been tested for content validity, reliability, and criterion-based predictive validity. The explanatory factor analysis shows that each of the six dimensions of the proposed model had a significant effect on the learners? perceived satisfaction. Confirmatory factor analyses used to assess the number of factors and the loadings of variables. The results of confirmatory factor analyses were overlapped with the proposed model. Structural Equation Modeling (SEM) statistical analysis was used to validate the research model. The analytical results strongly support the appropriateness of the proposed model in evaluating LMSs through learners? satisfaction. Additionally, individual case results were presented with descriptive statistics, Pearson?s Product Correlations outputs. Findings of this research will be valuable for both academics and practitioners of e-learning systems. The presented statistical results highlighted the importance of supposing a multidimensional analytical approach for e-learning system success evaluation. The proposed model provided several implications for e-learning effectiveness evaluation.