End-user authoring of mid-air gestural interactions

Abstract

İnsan uzuvlarının konumunu ve hareketini bilgisayarla görme yoluyla algılayan cihazlar yakın zamanda yaygınlaşmış ve insan hareketini asıl girdi yöntemi olarak kullanan yeni arayüzlere olanak tanımıştır. Bu arayüzlerin tasarımı ve geliştirmesi insan vücudunun hareketleri üzerine bilginin temsilini, yaratılmasını ve manipulasyonunu destekleyen programlama araçları gerektirir. Kullanılabilirlik ve bireyler arasındaki fiziksel farklar gibi faktörler göz önünde bulundurulduğunda, ideal olarak bu araçlar tasarımcı ve geliştiricilerin yanında son kullanıcıları da hedeflemelidir.Bu tez, son kullanıcı tarafından iskelet modelleme yoluyla çalışan bilgisayarla görme tabanlı girdi cihazları için arayüz geliştirmeyi destekleyen bir yazılımın tasarımın, geliştirme, yayım ve değerlendirme süreçlerini belgelemektedir. Yazılım, programlama deneyimi olmayan son kullanıcıların vücut hareketleri ile kendi amaçlarına hizmet eden bilgisayar uygulamalarını kontrol etmelerine olanak tanımakta ve ayrıca hareket tabanlı arayüz tasarımcıları ve geliştiricileri için tasarımlarını deneyimleyerek değerlendirebilecekleri bir hızlı prototipleme aracı sağlamaktadır.

Devices that sense the alignment and motion of human limbs via computer vision have recentlybecome a commodity; enabling a variety of novel user interfaces that use human gesture as themain input modality. The design and development of these interfaces requires programming toolsthat support the representation, creation and manipulation of information on human body gestures.Following concerns such as usability and physical differences among individuals, these tools shouldideally target end-users and designers as well as professional software developers.This thesis documents the design, development, deployment and evaluation of a software applicationto support gesture authoring by end-users for skeletal tracking vision-based input devices. Thesoftware enables end-users without programming experience to introduce gesture control tocomputing applications that serve their own goals; and provides developers and designers of gesturalinterfaces with a rapid prototyping tool that can be used to experientially evaluate designs.KeywordsHotspotizer; gestural interaction; gesture authoring; visual programming; end-user development;interface prototyping; mid-air gestures; perceptual interaction; Kinect.