Chair recognition and cognitive based chair selection algorithms for humanoid robots

Abstract

Bu çalışmada, insansı robotlar için, ilk etapta, farklı şekillerdeki sandalye modellerini tanıyıp ayrıştırabilen nesne tanıma algoritmaları geliştirip, daha sonrasında dinamik çevre koşullarında ve gerçek zamanda Nao insansı robota uygulanması hedeflenmiştir. Bu işlemin gerçekleştirilmesinin ardından, nesne tanımlamayı İnsan-Robot etkileşimine dahil etmek amacıyla Nao insansı robotun insanların karakterlerini analiz etmesi ve duygu çıkarımı yaparak, değişik duygu durumlarındaki insanların oturduğu sandalyeleri tespit etmesi amaçlanmıştır. İlk aşamada sandalye modellerinin tanımlanması için Hough dönüşüm tabanlı yaklaşım kullanılarak; nesnelerin sahip olduğu önemli özniteliklerin çıkartılması sağlanıp, daha sonrasında elde edilen sonuçlara göre sınıflandırma işlemi için Karar Destek Makinelerinin kullanılması tercih edilmiştir. Sandalye tanımlama işlemi gerçekleştirildikten sonra, Nao insansı robotu insan-robot etkileşimine sokabilmek amacı ile tanımlanan sandalyeye oturacak kişilerin karakter ve duygu analizlerini gerçekleştirebilecek algoritmalar geliştirilmiştir. Karakter analizini gerçekleştirmek için kullanılacak algoritma temelde 3 adımdan meydana gelmektedir. Algoritmanın ilk aşamasında, Viola-Jones algoritması kullanılarak yüz tanıma işlemi gerçekleştirilmiştir. İkinci aşamada ise geometrik tabanlı uzaklık ölçüm teknikleri kullanılarak yüzdeki organların birbirlerine olan uzaklıkları hesaplanmıştır. Son aşamada ise, elde edilmiş ölçüm sonuçları fizyonomi biliminin kullanılması ile kişinin sahip olduğu karakterin analiz edilmesi sağlanmıştır. Duygu analizinin gerçekleştirilmesi aşamasında ise yüzdeki önemli özniteliklerin çıkarılması için Yüz Kaslarını Kodlama Sistemi yaklaşımının kullanılması tercih edilmiştir. Öznitelik çıkarımı yapıldıktan sonra, elde edilen sonuçların K-En yakın Komşuluk ve Yapay Sinir Ağları- kullanılarak sınıflandırılma işleminin yapılması sağlanmış ve Karışıklık Matrisi ile sınıflandırıcı performansları değerlendirilmiştir. Önerilen bu sistemde sandalye modellerinin tanımlanarak sınıflandırılması için CALTECH 101 veri seti, karakter ve duygu analizi için ise JAFFE veri seti test etme aşamasında kullanılmıştır.

In this study, it is aimed to develop object recognition algorithms for humanoid robots which recognize and distinguish different chair models, and then applied to Nao humanoid robot in dynamic environment conditions and real time. After this process has been performed, in order to improve Human-Robot Interaction (HRI), the Nao humanoid robot analyses the facial characteristics of people and extracts their emotional statements to recognize the chairs which the person with different moods is seated.In the first stage, Hough-transform based approach is preferred to extract robust object features of different chair models. Then, all obtained results are classified using Support Vector Machines(SVM) After the chair recognition process, different algorithms have been developed to perform the character and emotion analysis of the person who will sit on the recognized chair. The algorithm used to perform in the character analysis basically consists of 3 stages. In the first stage of the algorithm, face detection is performed using the Viola-Jones algorithm. In the second stage, the distances of the facial parts are calculated by using geometric based distance measurement techniques. At the last stage, the obtained measurement results are analysed using the science of physiognomy. In the emotion analysis process, Facial Action Coding System (FACS) approach is preferred to extract crucial facial features of the person. Then, all results are classified using K-Nearest Neighbor (KNN) and Artificial Neural Networks (ANN) classifiers. In addition, all the obtained results are evaluated for classifier performances using the Covariance Matrix technique. In this system, CALTECH 101 database is used to recognize and classify different chair models, and JAFFE database is used for the character and emotion analysis.