Konuşan parmaklar

Abstract

Bugün toplumsal hayatın bir parçası haline gelen bilgisayarların, imgelerin, işaretlerin ve hareketlerin tanınmasında etkin bir şekilde kullanılması hayatı kolaylaştırmaktadır. Sunulan bu çalışmada işaret dilini bilmeyen bir kişinin bu dili anlayabilmesi ve özellikle işaret dilini kullanarak hayatını devam ettiren işitme engelliler ile insanların daha rahat iletişime geçmesi hedeflenmiştir.Bu çalışmada Türkçe İşaret Dili'ne ait parmak heceleme alfabesi harflerinin tanınması yönelik bir çalışma sunulmuştur. İşaret dili harflerinin tanınmasına yönelik olarak da hareket temelli işlem teknolojisinde yeni bir platform olan dijital sensör sistemine dayalı Leap Motion cihazı kullanılmıştır. Cihazın hassas hareket sensörleri ve kameraları yardımıyla üç boyutlu uzayda gerçekleşen el ve parmak hareketlerinden uzam- uzamsal özellik bilgiler alınmaktadır. Bu kapsamda el, parmak, eklem ve eklem noktalarının her biri için yön, uzunluk, mesafe, konum, açı, durum ve benzeri özelliklerinden en uygun ve ayırt ediciler belirlenmiştir. Türk İşaret Dili'ne ait 29 harf için belirlenen bu özellik çıkarımları kullanılarak hazırlanan veri setleri üzerinde tanınma gerçekleştirilmiştir. Sistem veri toplamaya ek olarak ön işlem, özellik çıkarma ve sınıflandırma olmak üzere üç aşamadan oluşmaktadır. Uygulamalarda, bir saniye içerisinde her 10 milisaniyede bir alınan veri dizisi ve görüntü karelerinin ortalamaları kullanılarak hareket ve durum bilgilerinin doğruluğunun arttırılması hedeflenmiştir.Türk İşaret Dili (TİD) alfabesinde bulunan harflerin yapılış durumları dikkate alınarak ve gereksinim görülen her nokta hesaplanarak belirlenen özellik çıkarımları, kademeli olarak azaltılarak uygulamalar geliştirilmiştir. Bu amaçla geliştirilen altı uygulama kapsamında en uygun ve gerekli görülen ayırt edici özellik çıkarımlarının tespit edilmesi ve bununla birlikte başarım ve performans değerlerinin istenen düzeyde olması hedeflenmiştir. Yaklaşımın başarımını sınamak amacıyla, makine öğrenme yöntemlerinden K-En Yakın Komşu sınıflandırıcı (KNN) ile Naive Bayes sınıflandırıcı algoritmaları kullanılarak yüksek oranlarda başarım sağlanmıştır.

The efficient utilization of computers that have become a part of social life in the recognition of images, signs and movements facilitates the life. In this study, the aim is to permit the comprehension of this language by people who do not know sign language and to facilitate an easier communication with the hearing-impaired people using especially sign language. In this paper, a study aiming the recognition of finger syllabication alphabet letters of the Turkish Sign Language has been proposed. For recognition of the letters of sign language, Leap Motion device based on a digital sensor, which is a new platform in the motion-based processing technology, was used. Temporal and spatial information from the hand and finger movements performed in space in three dimensions are collected using sensitive motion sensors and cameras of the device. In this context, the most appropriate and distinctive of direction, length, distance, position, angle, situation and other similar features are determined for each of hand, fingers, articulations and articular points. Recognition has been performed on the data sets prepared using the results of features determined for the 29 letters of Turkish Sign Language. The system is composed of three steps additionnally to data collection: pre-processing, features determination and classification. In the applications the accuracy of motion and situation information are expected to be increased using the mean value of data collection and image squares every 10 milliseconds in one second. Applications have been developped by decreasing progressively feature deductions determined by calculating each point considered necessary and taken into account the production situation of the letters of the Turkish Sign Language (TSL) alphabet. Within the context of six applications been developed in this purpose, the most accurate and necessary differenciating feature deductions as well as the requested levels of success and performance have been aimed. To test the success of the approach, the K-Nearest Neighbor algorithm (KNN) and Naive Bayes Classifier among the machine learning methods have been used and high-level success have been obtained.