Real-time sign languages recognition by artificial neural networks
- Global styles
- Apa
- Bibtex
- Chicago Fullnote
- Help
Abstract
Bu tez çalışmasında, iki farklı yaklaşım kullanılarak evrensel bir işaret dili tanıma sistemi önerilmiştir. Kullanımda çeşitli işaret dillerinin mevcut olması ile birlikte, önerilen sistem tanımayı evrensel yapmak için yaygın kabul gören üç işaret dilini, Amerikan İşaret Dili, İngiliz İşaret Dili ve Türkçe İşaret Dilini tanır. Önerilen yaklaşımlardan birincisi, özellik vektörleri olarak Hausdorff mesafesine ve Hu değişmezliklerine dayanmaktadır ve sistem önce el hareketlerini nasıl işleyeceğine odaklanır ve daha sonra Hausdorff mesafesi ve Hu değişmezlik ölçümleri yardımıyla farklı harfleri tanır. İkinci yaklaşım bir ileriye besleme sinir ağı yapısı tarafından gerçekleştirilir ve eğitim verileri ile birlikte üç farklı işaret dili alfabesi olarak tanınır. Deneysel sonuçlar sinir ağına dayalı yöntemin üstün performans sağladığını göstermekle birlikte her iki yaklaşımın başarılı bir şekilde çalıştığı gösterilmiştir. Bu iki sistem, işitme engelli insanlar için kolay ve etkili bir şekilde iletişim kurabildikleri ve hayatlarının pek çok yönünde zorluklarla karşılaşmadıkları için kullanışlıdır ve kolaydır. In this thesis, universal sign languages recognition system is proposed using two different approaches. Although a variety of sign languages exist in use, the proposed system recognizes three widely used sign languages as the American Sign Language, British Sign Language and Turkish Sign Language to make the recognition universal. One of the proposed approaches is primarily based on Hausdorff distance and Hu invariants as the feature vectors and the system first focuses on how to process the hand movements and then it recognizes the different letters by the help of Hausdorff distance and Hu invariants measurements. The second approach is implemented by a feed forward neural network structure and recognition is provided with training data as three different sign language alphabets. It is shown that both approaches operate successfully while experimental results demonstrate that neural network based method provides superior performance. These two systems are useful and handy for hearing impaired people as they can easily communicate and no longer face difficulties in so many aspects of their lives.
Collections