Üç boyutlu derinlik kamerası kullanılarak çok modlu doğal etkileşim

Abstract

Günümüzde kullanıcı arayüzü türleri; komut satırı arayüzlerinden (command line interface), grafiksel kullanıcı arayüzlerine (graphical user interface) doğru bir evrim geçirmiş ve son dönemde de doğal kullanıcı arayüzleri popülerlik kazanmıştır. Doğal kullanıcı arayüzleri insan-bilgisayar etkileşiminin, insan-insan etkileşiminde olduğu gibi doğal ve verimli şekilde gerçekleştirilmesi için geliştirilmeye devam etmektedir. Jest ve konuşma gibi birden fazla etkileşim yöntemi ile insan bilgisayar etkileşimi çok modlu doğal etkileşim şeklinde sağlanabilmektedir. Bu çalışma kapsamında çok modlu doğal etkileşim için üç boyutlu derinlik kamerası olan Kinect ile dokunma ya da başka hiçbir girdi aygıtı kullanmadan jest ve ses tabanlı üç boyutlu görüntü kontrolünü sağlayan bir uygulama gerçeklenmiştir. Bu amaçla gerçeklenen sistem klavye ve fare kullanmadan sadece ses ve jest komutları ile uygulamanın başlatılıp sonlandırılması ve üç boyutlu görüntülerle etkileşime olanak sağlamaktadır. Sistem üç farklı ses komutu ile sistemi başlatma, sistemi sonlandırma ve üç boyutlu görüntüyü ilk durumuna getirme işlevlerine sahiptir. Ayrıca jest komutları ile üç boyutlu görüntünün döndürülmesi (rotate), taşınması/sürüklenmesi (pan) ve yakınlaştırılıp uzaklaştırılması (zoom) işlemleri yapılabilmektedir.Aynı zamanda çalışma kapsamında doğal etkileşim arayüzü kullanılarak gerçeklenen bu sistemin ne kadar kullanılabilir olduğunu belirlemek için kullanılabilirlik değerlendirilmesi yapılmıştır. Kullanılabilirlik değerlendirilmesinde kullanıcı testine dayalı deneysel yaklaşımla 12 katılımcıya kullanıcı testi uygulanarak sistemin verimlilik ve etkililiği tespit edilmeye çalışılmıştır. Katılımcılardan ses ve jestlerden oluşan 7 görevi hem Kinect ile hem de fare ile tamamlamaları istenmiş ve katılımcıların görevleri tamamlama süreleri ölçülmüştür. Bunun arkasından katılımcılardan ISO 9241-9'da tanımlanan memnuniyet anketini doldurmuştur. Kullanılabilirlik çalışması sonucunda fare deneyimi fazla olan katılımcıların fare performanslarının daha yüksek olması ile birlikte Kinect cihaz deneyimi olan katılımcının operasyonları her iki girdi cihazı ile gerçekleştirme süreleri birbirine yakın olarak ölçülmüştür. Gerçeklenen sistemin klasik girdi aygıtı olan klavye ve fare kullanımının zor olduğu koşullarda klavye ve fareye iyi bir alternatif olabileceği düşünülmektedir.

User interfaces has been evolved from command line interfaces to graphical user interfaces. Currently, natural user interfaces gained more attention. Natural interfaces aim to provide natural and efficient human-computer interaction as in human-human interaction. In addition multimodal natural interaction is used to enable human computer interaction by enabling more than one interaction style like gestures and voice. In the scope of this study, multimodal natural interaction has been implemented to provide interaction with three dimensional images without the use of any traditional or touch-based input devices. A system was developed by the use of Kinect, which includes a three dimensional camera. System used three different voice commands for starting and stopping the system and resetting the three dimensional image into its initial state. In addition, gestures were used for rotating, panning and zooming the image.In the study, usability evaluation was conducted to determine the usability of this multimodal natural interaction based system. A user test was applied with 12 participants to determine the effectiveness and efficiency. Participants were asked to conduct 7 tasks both with mouse and with Kinect and their task completion times were measured. Afterwards they were required to fill in a satisfaction questionnaire based on ISO 9241-9 standard. While experienced mouse users performed better in mouse interaction, user who had an experience with Kinect had similar task completion times in two interaction styles. Developed system can be considered a fair alternative to keyboard and mouse where accessibility of these traditional input devices is hard.