İlgi bölgeleri ve yerel tanımlayıcılar ile genelleştirilmiş Hough dönüşümü ve en az eylemsizlik ekseni tabanlı hizalama yaklaşımı ile Türk işaret dili tanıma sistemi

Abstract

Türk İşaret Dili Alfabesi harf işaretleri görüntüler üzerinden tanınmıştır.Bu amaçla birinci aşamada yönelim açısını kullanarak el nesnelerini hizalayan yeni bir hizalama yöntemi geliştirilmiştir.Hizalanan el işaretleri kullanılarak yapılan sınıflayıcı karşılaştırmasında en iyi sınıflamanın 1NN ve SVM sınıflayıcıları ile sağlandığı görülmüştür.İkinci aşamada Genelleştirilmiş Hough Transformu, ilgi bölgeleri (interest regions) ve yerel tanımlayıcılar (local descriptors) kullanan bir tanıma sistemi gerçeklenmiştir.Üçüncü aşamada ilgi bölgesi belirleyicilerinin (interest region detector) bir karşılaştırması yapılmış ve EdgeLap (Mikolajczyk vd., 2003) bölgelerinin en iyi tanıma başarısını sağladığı gözlemlenmiştir. İlgi bölgelerinin kalitesini sayısallaştırılmak amacı ile yeni bir ayırt edicilik istatistiği geliştirilmiş ve bu istatistik açısından bakıldığında SURF (Bay vd., 2008) ve DoG (Lowe, 2004)belirleyicilerinin öne çıktığı görülmüştür.Geliştirilen ayırt edicilik istatistiği ilgi bölgesi belirleyicisinin bölgelerinin başarısını rastgele üretilen bölgelerin başarısı ile kıyaslamaktadır. Bu amaçla yeni bir rastgele bölge üreticisi, ExpRand, geliştirilmiştir. Yapılan denemelerde ExpRand üreticisinin en iyi belirleyici ile eş tanıma başarısı verdiği ve ilgi bölgesi belirleyicilerinin birçoğundan daha ayırt edici olduğu gözlemlenmiştir.

The recognition of Turkish Sign Language Alphabet finger spelling signs from images is inspected.In the first stage of the thesis the hand regions are aligned with a novel alignment method based on the orientation angle between axis of least inertia and the y axis. 1NN and SVM come up as the best classifiers in the classification evaluation for aligned hand regions.In the second stage a recognition system based on Generalized Hough Transform, interest regions and local descriptors are implemented.In the third stage an evaluation of the interest regions is performed. EdgeLap regions get the best recognition results. In order to quantify the discriminating power of the interest region detectors a novel discriminancy measure is introduced. SURF (Bay vd., 2008) and DoG (Lowe, 2004) regions have the best discriminancy scores. The discriminancy measure introduced compares the recognition success of a region detector with the recognition success of a random region generator. A new random region generator, ExpRand is introduced for this purpose. Regions generated by ExpRand get success rate on par with the best detector and they have more discriminating power than regions of most detectors.