Usability evaluation of mobile and desktop websites: A study of comparing usability evaluation methodologies

Abstract

Bu çalışmanın amacı girişimci ve yenilikçi üniversitelerden Orta Doğu Teknik Ünivresitesi, Koç Üniversitesi ve Sabancı Üniversitesi'nin websitelerinin mobil ve masaüstü platformlarda kullanılabilirliğini araştırmaktır. Aynı kullanılabilirlik metodlarının mobil ve masaüstü websitelerini değerlendirirken ne gibi kısıtlama ve farklılıklara sebep olduğunu ve mobile websitelerini değerlendirmek için kullanılacak etkin ve etkili kullanılabilirlik değerlendirme yöntemini bulmak için kullanıcı bazlı ve uzman bazlı deneylerden nitel ve nicel veri toplanmıştır. Çalışma içerisinde göz izleme tekniği, WAMMI (Web Sayfası Kullanılabilirlik Ölçüm Anketi), eş zamanlı sesli düşünme tekniği ve sezgisel değerlendirme kullanılabilirlik değerlendirme yöntemleri kullanılmıştır. Sonuçlara göre üniversitelerin masaüstü websitesilerinin mobil versiyonlarına göre daha yüksek katılımcı memnuniyetine sahip olduğu görülmüştür. Tasarımların mobile duyarlı olmaması, ana sayfa ve alt sayfalar arasında tutarsız gezinimin olması, ufak yazı boyutları ve düzensiz sayfa yapılarının sebep olduğu kullanıcı arayüzü problemleri mobil tasarıma yönelik temel problemler olarak gösterilebilir. Çalışma sonuçlarına bakıldığında, ayrıca, mobil ve masaüstü deneylerde kullanılabilirlik değerlendirmeleri kapsamında kritik metodolojik farklılıklar görülmüştür. Örneğin, eş zamanlı sesli düşünme tekniğinin mobil websitesinin değerlendirilmesi için uygun bir teknik olmadığı bulunmuştur. Bunun yanı sıra, kullanıcıların mobil cihaz kullanım tecrübeleri ve mobil cihazın düzeneği göz önünde bulundurulduğunda, bu çalışmada kullanılan mobil göz izleme cihazının, katılımcıların göz hareketlerini beklenen seviyede kaydetmediği görülmüştür.

The aim of this research was to investigate usability issues of websites of three entrepreneurial and innovative universities, Middle East Technical University, Koç University, Sabancı University, on mobile and desktop in Turkey. In order to figure out the limitations and differences of conducting same usability evaluation methods for mobile and desktop websites and to explore effective and efficient usability evaluation methods for mobile websites, usability evaluation methods were compared by using qualitative and quantitative data gathered from user-based and expert-based experiment. Four usability evaluation methods, eye-tracking experiment, WAMMI (Website Analysis and MeasureMent Inventory) questionnaire, concurrent think aloud technique, heuristics evaluation, were applied throughout the research. Results of the research showed that users' satisfaction of desktop websites was higher than mobile websites. Lack of responsive design on websites, inconsistent navigation design between the main page and subpages and user interface design problems such as small size texts and unorganized structure were main mobile-specific usability problems. Results of the research also revealed that there were critical methodological differences of usability evaluation methods between mobile and desktop experiments. For instance, concurrent think aloud technique was not appropriate for mobile experiments. Besides that, mobile eye-tracker device could not record participants' eye movements and gaze plots due to mobile experiences of participants and settings of mobile eye-tracker.