A context aware approach for enhancing gesture recognition accuracy on handheld devices

Abstract

Mobil cihazların tuş takımı ve kontrol kolu gibi veri girişini sağlayan kabiliyetleri,kullanıcının kullanıcı ara birimi yoluyla bilgiye ve mobil servislere ulaşmasınısağlar. Fakat bu veri girişi kabiliyetleri mobil kullanımdan dolayı sınırlıdır. Mobilcihazlar için yeni veri giriş cihazları ve teknikleri gerekmektedir. İvme ölçerkullanarak işaretlerle etkileşim mobil cihazlarda en yeni etkileşim yöntemlerindenbiridir.Bu tezde önerilen çözüm, otomatik olarak ivme ölçer işaretlerinin tanınmasınıniyileştirilmesinde, dokunmatik ekran ve ivme ölçer işaretlerinin standartkütüphanesi oluşturulmasında kullanılabilir.Sunulan çözümde, ivme ölçer işaretlerini tanımak için uygun olan sinyal işlemeyöntemleri otomatik olarak belirlenmektedir. Öncelikle, sistem örüntü tanımaalgoritması kullanarak kullanıcının hareketini tanır. Daha sonra, sistem otomatikolarak kullanıcı hareketine uygun veri işleme yöntemini seçer ve işaretleri algılar.Ayrıca işaretler daha iyi kullanım için standart hale getirilmişlerdir.Bu çalışmada ayrıca, önerilen otomatik işaret tanıma iyileştirme sisteminin etkilive uygulanabilir olduğunu gösteren birkaç kullanıcı testine de yer verilmektedir.

Input capabilities (e.g. joystick, keypad) of handheld devices allow users to interact withthe user interface to access the information and mobile services. However, these inputcapabilities are very limited because of the mobile convenience. New input devices andinteraction techniques are needed for handheld devices. Gestural interaction with accelerometer sensor is one of the newest interaction techniques on mobile computing.In this thesis, we introduce solutions that can be used for automatically enhancing the gesturerecognition accuracy of accelerometer sensor, and as a standardized gesture library for gesturalinteraction on touch screen and accelerometer sensor.In this novel solution, we propose a framework that decides on suitable signal processingtechniques for acceleration sensor data for a given context of the user. First system recognizesthe context of the user using pattern recognition algorithm. Then, system automatically choosessignal filtering techniques for recognized context, and recognizes gestures. Gestures are alsostandardized for better usage.In this work, we also present several experiments which show the feasibility and effectivenessof our automated gesture recognition enhancement system.