Creating a generic hand and finger gesture recognizer by using forearm muscle activity signals

Abstract

El ve parmak işaretleri, konuşmadan iletişim kurmanın en doğal yollarından biridir. Bu işaretler farklı kültürlerde günlük yaşamda iletişim kurmak için kullanılmalarının yanısıra, bilişim dünyasında insan-bilgisayar etkileşimi alanında da sıklıkla kullanılmaktadır. El ve parmak işaret verileri; işaret dili tanıma, robot kontrol etme, cep telefonu kontrol etme, medikal araç kontrol etme ve video oyunu kontrol etme gibi alanlarda geliştirilen uygulamalarda girdi olarak kullanılmaktadır. Yakın-alan kablosuz iletişim alanındaki gelişmeler, önceden tanımlanmış el ve parmak işaretlerini tanıyan ucuz maliyetli ve küçük boyutlu kontrol cihazlarını tasarlamayı olanaklı kılmaktadır. Bu tez kapsamında, ön kol kas aktivitelerini ve hareketlerini ölçmek için 8 elektromiyografi (EMG) sensörü ve eylemsizlik ölçüm unitesi (IMU) kullanılarak genel bir işaret tanıma sistemi geliştirilmesi amaçlanmıştır. Bu tezin iki önvarsayımı i) ön kol kas aktiviteleri zaman-uzamsal limitli dairesel sinyallerdir ve bu sinyaller sonlu sayıdaki sensörler ile örneklendirilebilir, ve ii) farklı el ve parmak işaretleri, ayırt edilebilmeyi sağlayan birbirinden farklı ancak tutarlı modellerle temsil edilebilir. Bu tezde kullanılan yaklaşım, ticari olarak erişilebilir düşük maliyetli EMG kol bandı kullanılarak elde edilen sinyallerin işlenmesiyle belirli özelliklerin özütlenmesini ve basit yapay sinirsel ağlar kullanarak el ve parmak işaretlerinin sınıflandırılmasını temel almaktadır. El ve parmak işaretleri kümesi, klasik müzik orkestra şeflerinin dışavurumcu olarak kullandıkları el işaretlerinden oluşturulmuştur. Sistem performansını ölçmek amacıyla iki deney çalışması düzenlenmiştir: i) 13 farklı el ve parmak işareti ve bir dinlenme pozisyonu aynı seans içinde 5er defa 10 test kullanıcısı tarafından gerçekleştirilerek veri toplanmıştır, ve ii) bir klasik müzik konser provasında orkestra şefi gerçek hareketlerini gerçekleştirirken veri toplanmıştır. Kullanılan yapay sinir ağını eğitirken, onaylarken ve test ederken ağın beslenmesi için kullanılan verinin dağılımının seanslara göre yapılması sonucu ortalama %63.14 (en yüksek %79.87) başarı oranı yakaladığı saptanmıştır. Veri dağılımının rastgele yapılması sonucunda ise ortalama %96.09 (en yüksek %98.8) başarı oranı yakalandığı görülmüştür. Son olarak, orkestra şefinden toplanan 5 farklı el ve parmak işareti ve bir dinlenme pozisyonu verilerinin yapay sinir ağlarına rastgele dağılımı sonucunda %96.9 başarı oranı yakalanmıştır. Bütün sonuçlara, kişiye ve seansa bağlı olan deneyler düzenlenerek erişilmiştir.

Hand and finger gestures are one of the most natural ways of non-verbal communication. Apart from their daily use in different cultures, they are also widely used in human-computer interaction. There are a variety of applications using gestures as inputs such as sign language recognition, robot control, mobile phone control, medical device control and video game control. Advances in near-field wireless communications made it possible to design and deploy low-cost, inconspicuous control devices which can be used to detect certain predefined hand gestures for use in interaction. This thesis aims to investigate and develop a generic hand and finger gesture recognizer by processing forearm muscle activity signals from such a device which consists of eight electromyography (EMG) and Inertial Measurement Unit (IMU) sensors. Two main presuppositions of this thesis is that i) the muscle activity on the forearm is a spatiotemporally bandlimited circular signal and that can be sampled using a finite number of sensors, and ii) different gestures result in different but consistent patterns which are separable. The approach used in this thesis is based on the extraction of features by joint processing of signals obtained from a commercially available, low-cost EMG armband and classification of the gestures by simple and low-complexity artificial neural networks (ANNs). The dictionary of gestures were chosen from a canonical catalog of expressive gestures of classical orchestra conductors. Two experiments were carried out to assess the system performance: i) thirteen different hand and finger gestures and one rest gesture are performed 5 times in the same session by 10 different subjects, and ii) data was collected in an ecological study from a conductor during a practice session of a symphony orchestra. It was found that the proposed method achieved an average classification accuracy of 63.14% (maximum of 79.87%) when the data distribution for train, test and validate parts of ANN used in classification process is separated by sessions. An average classification accuracy of 96.09% (maximum of 98.8%) was achieved when data distribution is random. Lastly, random data distribution of the five different gestures and one rest gesture data collected in an ecological study from a conductor resulted in 96.9% accuracy. All results were obtained with session and subject dependent experiments.