Bir eğitim yönetim sisteminin sosyal ağ bağlamında kullanılabilirlik analizi

Abstract

Bu araştırma, bir eğitim yönetim sisteminde sosyal etkileşimi sağlayan öğelerin kullanılabilirliğini analiz etmeyi amaçlamaktadır. Bu sosyal öğeler; iş arkadaşlığı, soru cevap sistemi, blog sistemi, kullanım puanları özelliği, tartışma grupları ve forum özelliği, içerik yorum ve puanlama sistemi, eğitim önerme, haber kaynağı ve kullanıcı duvarından oluşmaktadır. Sosyal öğelerin etkililik, verimlilik ve kullanıcı memnuniyetini ölçmek için bir kullanılabilirlik testi gerçekleştirilmiştir. Araştırma, bir e-öğrenme firmasında çalışan 5 kişi ve Bilgisayar ve Öğretim Teknolojileri (BÖTE) alanında çalışan diğer 5 kişiden oluşan katılımcı grubuyla yürütülmüştür. Kullanılabilirlik testi, Orta Doğu Teknik Üniversitesi BÖTE Teknoloji ile Zenginleştirilmiş Öğrenme Laboratuvarında gerçekleştirilmiştir. Bu testte katılımcılar, uzman görüşleri doğrultusunda hazırlanan görevleri gerçekleştirirken, araştırmacı tarafından gözlem yapılmıştır.Çalışma verileri 4 aşamada toplanmıştır: (1) Demografik anketle kullanıcı profiline ilişkin bilgilerin toplanması, (2) Sosyal öğelerin kullanımı sırasında kullanıcı davranışlarının gözlemlenmesi, (3) Kullanıcı odak noktalarını belirlemek için göz izleme yöntemiyle kullanıcı göz hareketlerinin izlenmesi, (4) Sesli düşünme yöntemi ile kullanıcı yorumlarının toplanması. Yapılan gözlemle 4 çeşit veri toplanmıştır: (1) Etkililiğin belirlenmesi için görev tamamlama durumu, (2) Verimliliğin belirlenmesi için görev tamamlama sırasında yapılan hata sayısı, (3) Verimliliğin belirlenmesi için görev tamamlama sırasında harcanan zaman, (4) Kullanıcı memnuniyetinin belirlenmesi için katılımcıların yaptıkları yorumlar. Uygulama sonrası toplanan veriler betimsel olarak analiz edilmiştir. Göz izleme ekran kayıtlarında kullanıcı dikkat odağı incelemesi; hata yapma, görev tamamlayamama ya da görevi uzun sürede tamamlama durumlarının sebeplerini belirleyebilmek amacıyla yapılmıştır. Her bir görevin başarı ve hata oranları, tamamlanma süreleri, sesli düşünme ve göz izleme bulguları kullanılabilirlik problemlerinin belirlenebilmesi için görev bazlı olarak birlikte özetlenmiştir. Analiz sonuçları, sosyal öğelerin etkili ve verimli olduğunu, kullanıcı memnuniyetinin ise çok düşük olduğunu göstermektedir. Bulgular doğrultusunda, sosyal öğelerin kullanılabilirliğini artırmaya yönelik çalışmalar yapılması ve sistem üzerinde belirli aralıklarla kullanılabilirlik testi yapılması önerilmiştir.

The aim of the current study is to analyze usability of social items related to social interactions in a learning management system. These social items are colleagueship, question and answer system, blog system, usage scores features, discussion groups and forum feature, content comment and scoring system, training recommendations, news source and user wall. The usability test has been carried out to evaluate the effectiveness, efficiency and user satisfaction of the social items. The research was carried out by a group of 5 persons working in the e-learning company and 5 other persons working in the field of Computer Education and Instructional Technologies (CEIT). The usability test was realized in the Middle East Technical University CEIT with Technology Enriched Learning Laboratory. In this test while the participants realized the tasks prepared in parallel with the experts opinions, observation was done by the researcher. The study data was collected in 4 phases: (1) gathering data on users profile through demographical questionnaire, (2) observation of user behaviors during the usage of Social items, (3) monitoring of the users eye movements through the eye tracking method to determine the users focus points, (4) collection of the user?s comments through the think aloud method.Four types of data was gathered from the observation: (1) task completion status for the identification of the effectiveness, (2) number of errors made during the task completion to designate of the efficiency, (3) time spent during the completion of the task to designate the efficiency, (4) comments made by the participants to designate the user satisfaction. Data collected from the study were analyzed by descriptive anaylsis, reporting percentages. The users? focus data collected from eye tracking were used to understand reasons of uncompleted tasks, errors and protracted task completion time. Success and fault rates, completion durations, think aloud and eye tracking findings of each task were summarized together as task based, to specify the usability problems. The results of the analysis showed the social items are effective and efficient but the user satisfaction of the social items is low. Based upon the findings; it is suggested to carry out work to increase the usability of the social items and to conduct usability test on the system periodically.