Hand gesture recognition using artifical neural networks

Abstract

VI ÖZET EL İŞARETLERİNİN YAPAY SİNİR AĞLARI İLE ALGILANMASI İnsanlar birbirleriyle konuşmanın yanında farklı hareketli işaretler kullanarak anlaşmaktadır. Buna örnek olarak birisine dur derken, el ile dur işareti yapmak verilebilir. Benzer yöntem kullanılarak bilgisayar insan iletişiminde de el işaretleri kullanılabilir. Eskiden bunu yapmak kısıtlı işlemci gücü ve pahalı kamera sistemleri yüzünden zor olmasına rağmen günümüz araştırmaları, bu yöntem ile insan-bilgisayar iletişimi üzerinde durmaktadır. El işaretlerinin kullanılabileceği alanlar, bilgisayarı görsel olarak el ile yönetmek veya bir robota `sağa, sola git` gibi komutlar göndermek olabilir. Bir diğer önemli alan ise engelliler için işaret dili tanıma sistemidir, bu sayede işaret dili bilmeyen kişiler ile rahatça anlaşabilirler. Bu tezde basit bir kamera ve ev bilgisayarı ile el işaretlerinin bilgisayar taralından algılanması denenmiştir. Kullanılan sistem kamera ile elin de içinde bulunduğu görüntüyü almakta, daha sonra bu görüntüden elin görüntüsü çıkarılmaktadır. Bulunan el görüntüsünün, daha sonra çeşitli görüntü işleme teknikleri kullanılarak geometrik öznitelik vektörleri çıkarılmakta, sınırlandırıcı sisteminde ise çok-katman algılayıcı yapısındaki yapay sinir ağlan kullanılmaktadır.

ABSTRACT HAND GESTURE RECOGNITION USING ARTIFICIAL NEURAL NETWORKS In order for humans to interact with computers, a fast and easy way is to use hand gestures. Although using hand gestures in computer interaction was very cumbersome and needed special glove and computer hardware in the past, nowadays in any personal computer, simple cameras are available and there is enough processor power to do the expensive computations done in the past. With this feature, not only controlling computer with hand is possible but also some simple interpreters for sign language recognition can be made. In this thesis a hand gesture recognition system, using an inexpensive camera and a personal computer is proposed. The system uses visual image as input and computes the geometric features, such as invariant moments and signature, of the extracted hand image for classification in a Multi-layer Perceptron Artificial Neural Network. The gestures used in the system are American Sign Language Manual Alphabet Gestures and Turkish Sign Language Manual Alphabet Gestures.