Vision based real-time continuous 3d hand gesture recognition interface for generic applications based on input-output hidden markov models
- Global styles
- Apa
- Bibtex
- Chicago Fullnote
- Help
Abstract
Bu şalışmanın amacı Girdi-Cıktı Saklı Markov Modelleri kullanarak hem hareketcs şhem şekil değişimi işeren uş boyutlu el hareketlerini stereo gürüntüler uzerinden gerşeks gs c üc ou u ü cüzamanlı olarak tanıyacak bir etkileşimli arayüz geliştirmektir. Onerilen sistem kul-s u slanıcıların hem manipülatif hem haberleşmeye yünelik doğal el hareketleriyle PC uygu-u s o glamalarını kontrol etmelerini sağlayacak şekilde tasarlanmıştır. Bu iki tip el hareketig s ssistem tarafından gerşek zamanlı olarak ayırdedilebilmektedir. Uygulama, etkileşimlic shareket eğitimi ve kamera kalibrasyonu işin birer yazılım aracı da işerir. Eli ayırdetmekg c cişin kullanılan renkli eldivenler her renk olabilir, ve el ayırdetme problemini basitleşti-c srerek tanıma başarısını arttırırlar.süOnerilen sistemde elleri modellemek işin el şekli üzniteliği olarak Hu momentleric s o gve elin aşısı kullanıldı. Yeni bir yaklaşım olarak düzgelenmiş zaman bilgisinin Girdi-c s u sCıktı Saklı Markov Modellere girdi olarak verilmesinin bu modellerin saklı durumlarınınşsürekli bir yapı kazanması sağlandı ve bunun el şekli tanımadaki başarı oranını arttırdığıu g s s ggüsterildi. Ayrıca Girdi-Cıktı Saklı Markov Modelleri uzerine kurulu tanıma sistemlerio ş üişin tanımlı el şekillerini tanımsız hareketlerden ayıracak yeni bir uyarlanır eşik modelic s stasarlandı.üOnerilen sistem farklı hareketler işeren on şekilden oluşan ve aynı hareketleric s spaylaşan on cift el hareketinden oluşan iki ayrı el şekli veritabanı uzerinde test edil-s ş s s üvimiştir. Sistem ilk veritabanı uzerinde 2885 denemede 97.6%, ikinci veritabanında ises ü8675 denemede 94.1% tanıma başarı oranı güstermiştir. Bu oranlar uyarlanır eşiks o s smodeli ile sürekli bir girdi uzerinden tanıma yapıldığında ilk veritabanı işin 97.1%,u ü g cikinci veritabanı işinse 93.8% cıkmıştır.c ş s This study focuses on the application of Input-Output Hidden Markov Models(IOHMM) to the recognition of 3D hand gestures that involve both hand motion andhand posture in a stereo vision-based approach. The proposed system is designed as areal time gestural interface that allows both communicative and manipulative gesturesto control target PC applications. The system allows training of new communicativegestures and automatically distinguishes these from manipulative gestures in continu-ous streams. Uniquely colored gloves with no preset colors are used as markers, whichincreases the recognition rate and simpliï¬es the hand localization problem. Cameracalibration and gesture training tools are provided with the system.The hand shape is modeled with Hu moments and the angle of the hand. Asa novel approach the inclusion of normalized time information as an input to theIOHMMs is proposed, which has the eï¬ect of a continuous state variable and is shownto handle temporal information better. Another novel method is proposed for gesturespotting in IOHMM-based frameworks, which distinguishes the meaningful gestures ina continuous input stream in real time using a threshold model with a single hiddenstate.The system is tested on two datasets that have 10 gestures with distinct trajecto-ries, and 20 gestures in 10 pairs that share the same trajectories. The proposed systemivis able to attain a recognition rate of 97.6% on the former dataset in 2885 trials, and arecognition rate of 94.1% on the latter dataset in 8675 trials. The gesture segmentationtest results for the same datasets with the inclusion of the proposed threshold modelare 97.1% for the former and 93.8% for the latter dataset.
Collections