Isolated sign language classification using hand descriptors and trajectory based methods

Abstract

Bu tezde, büyük ölçekli insan eylemi tanıma problemi için önerilmiş olan bir yöntem olan Geliştirilmiş Yoğun Gezingeler yöntemini uyarlayıp basitleştirdiğimiz bir işaret dili tanıma sistemi önerilmektedir. İşaret dili tanıma problemi çoğunlukla el hareketleri, vücut duruşu ve yüz ifadesine odaklandığı için, Geliştirilmiş Yoğun Gezingeler özniteliklerini çıkartıldıktan sonra elde edilen gezinge koordinatları poz çıkartma ile elde edilmiş olan el koordinatları ile eşleştirerek el çevresindeki gezingeler ayrılmıştır. Gezinge filtrelemesine ek olarak, bu çalışmada bir uzam-zamansal öznitelik çıkartma yöntemi olan El Betimleyicileri işaret dili tanıma için önerilmiştir. Önerdiğimiz bu yöntemde, sol ve sağ ellerin etrafından uzam-zamansal betimleyiciler elde edilmektedir. Betimleyiciler elde edildikten sonra, her bir işaret videosu, eğitim betimleyicilerinden elde edilen Gauss Karışım Modelinden türetilen Fisher Vektörler olarak tanımlanmıştır. Sonrasında, bu Fisher Vektörler işaret dili sınıflandırması yapmak için eğitilecek bir Destek Vektör Makinesine girdi olarak verilmektedir. Sistemi öznitelik çıkartma hızı, hesaplama karmaşıklığı ve bellek gereksinimi açısından değerlendirmek için BosphorusSign veri setinin alt kümeleri üzerinde deneyler yapılmıştır. Yapılan bu deneylerde, bütün öznitelik türlerinde, bütün betimleyicilerin beraber kullanıldığı durumda sistem en iyi tanıma performasını elde etmiştir. Yörünge filtreleme yöntemi temel yönteme yakın bir tanıma performansı verdiği gibi aynı zamanda yörüngelerin sayısını büyük bir ölçüde azaltmıştır. Ayrıca, farklı parametreler ve video çözünürlükleri kullanmanın El Betimleyicilerinin performansı üzerindeki etkisini analiz ettik. Bu çalışmada yaptığımız deneyler, el bölgesinden elde edilen betimleyicilerin işaret dili sınıflandıran sistemimiz için en önemli öznitelikleri barındırdığını göstermiştir.

In this thesis, we propose a sign language recognition system in which we have adapted and simplified the Improved Dense Trajectory (IDT) approach which was originally proposed for large-scale human action recognition problem. Since the sign language recognition problem mostly focuses on hand gestures, body posture and facial expressions, we have extracted IDT features and filtered the trajectories around the hand region by matching the trajectory coordinates with hand coordinates obtained by pose extraction. In addition to trajectory filtering, we also propose Hand Descriptors, a spatio-temporal feature extraction method, for sign language recognition. In our proposed method, we extract spatio-temporal descriptors around left and right hands. After descriptor extraction, we encoded each sign video as Fisher Vectors which were derived from a Gaussian Mixture Model which was estimated from the training descriptors. Then, we have trained Support Vector Machines to perform sign language classification using the Fisher Vectors as its inputs. We have conducted experiments on two subsets of the BosphorusSign dataset and evaluated the performance of the system in terms of feature extraction speed, computational complexity and memory requirement. In our experiments, the combination of all descriptors yields the best recognition performance on both subsets for both features. We have found that trajectory filtering approach yields a similar recognition performance to the baseline approach while the number of trajectories are drastically reduced. Moreover, we have analysed the effects of using different parameters and video resolutions on the performance of the Hand Descriptors. Our experiments have shown that hand region produces the most important features in our sign language classification system.