Evaluation and efficiency of e-learning systems

Abstract

E-öğrenme sistemlerinin sadece başarı ve etkinliği değil değerlendirilmesi de karmaşık bir konudur. E-öğrenme uygulamalarının verimli olarak kullanılması için e-öğrenme sistemlerinin başarı ve etkinliğini ölçmek için güvenilir metotlar gereklidir. Bu tezin amacı başarı kriterlerinin belirlenerek e-öğrenme sistemlerinin başarı ve etkinliğinin ölçülmesini sağlayacak bir prototip sağlamaktır. Tezde kullanılan e-öğrenme sitemleri ve test araçları ticari olmayan, açık kaynak kodlu yazılımlar arasından seçilmiştir.Bir e-öğrenme sistemini başarılı bir şekilde değerlendirmek için sistemin değişik boyutları hesaba katılmalıdır, örneğin standartlar, kalite nitelikleri ve başka kriterler. Bu tez çalışmasında, e-öğrenme sistem yazılımlarını test etmek için bazı otomatik yazılım test araçları incelenmiş ve seçilenler kullanılmıştır. Açık kaynak kodlu Ilias, Dokeos, Docebo, Claroline ve Efront öğrenme yönetim sistemleri değerlendirilmek için seçilmiştir. E-öğrenme sistemleri değerlendirilirken yazılım testine odaklanılmış, tüm e-öğrenme süreci göz önüne alınmamıştır. Performans, işlevsellik, erişilebilirlik, güvenlik ve standart uyumluğu e-öğrenme sistemlerinin başarısı için gösterge olarak varsayılmıştır. İşlevsellik dışında diğer kriterler ticari olmayan test araçları ile değerlendirilmiştir. Sistemlerin işlevsellik testi için, işlevsellik karşılaştırma matrisi geliştirilmiştir. Matristeki her bir kritere 22 e-öğrenme uzmanının cevapladığı anket sonucuna göre ağırlık verilmiştir.Belirlenen kriterlere göre sistemlerin genel değerlendirmesi, testlerden alınan standart puanların ağırlıklı toplamları kullanılarak yapılmıştır. Kriterlerin ağırlıkları anketten alınan sonuçlar kullanılarak hesaplanmıştır. Hesaplamalar sonucunda öğrenme yönetim sistemlerinin sıralaması Docebo, Dokeos, Moodle, Claroline, Ilias ve Efront şeklinde oluşmuştur. Docebo ve Dokeos'un puanları birbirine çok yakındır.

E- learning system is a complex issue not only because of its success and effectiveness but also because of its evaluation. Reliable ways to measure the success and effectiveness of the e-learning system are required for e-learning applications to be used efficiently. The purpose of this thesis is to provide a prototype to evaluate e-learning systems? success and effectiveness by addressing the success criteria. E-learning systems and testing tools used in this thesis were especially selected from among non-commercial and open source software.In order for a successful e-learning system assessment, different dimensions of the system such as standards, quality attributes and several other criteria should be taken into consideration. In this thesis study, some automated software testing tools are examined and then selected to execute to test the e-learning systems? software. Open source Learning Management Systems were selected to evaluate, namely Moodle, Ilias, Dokeos, Docebo, Claroline and Efront. Assessment of e-learning systems success was focused on software testing, the whole e-learning process was not considered. It is assumed that performance, accessibility, security and standard compliance, and functionality comparisons of the systems can be indicators of the whole e-learning system success. Some non-commercial testing tools were used to evaluate e-learning systems according to the previously defined criteria except functionality. In order for the functionality testing of the systems, functionality comparison matrix was developed. Each criterion in the matrix weighted according to the survey results, which was answered by 22 e-learning specialists.Weighted sum of the standardized scores of tests were used to evaluate systems overall success according to the defined criteria. Weights were calculated according to the third part of survey. LMSs? scores according to these calculations were figured out in the order of Docebo, Dokeos, Moodle, Claroline, Ilias and Efront, whereas the scores of Dokeos and Docebo were very close to each other.