Face detection and facial expression recognition using moment invariants

Abstract

Yüz konum tespiti problemi verilen bir imge üzerinde yüz olup olmadıgının anlasılması ve varolan yüz bölgelerinin dogru konum ve büyüklükte tespit edilmesi olarak tanımlanmaktadır. Yüzkonum tespiti güvenlik, yüz tanımlama, yüzsel duygu kestirimi gibi bir çok bilgisayarlı görüproblemlerinde bir ön evre olarak kullanılmaktadır. nsan açısından yüz konum tespiti çok basitbir islem olarak kabul edilsede, boyut degisimi, yatay düzlemde açı degisimi ve yüzü kapatancisimlerin olaması gibi durumlardan dolayı bilgisayarlı görü teknikleri ile yüz konum tespitiislemi çözülmesi kolay bir problem degildir. Bu tez çalısmasında, imge üzerindeki yüzbölgelerinin konumunun bulunması için yeni bir algoritma önerilmistir. Önerilen bu algoritmaten rengi bölütlemesiyle elde edilen imge üzerinde ki ten rengi bölgelerinden boyut degisimi,öteleme ve dönme gibi geometrik dönüsümlerden etkilenmeyen öznitelik vektörlerininistatistiksel bir modele dayalı olarak egitilmesine dayanmaktadır. Önerilen algoritma standart veoldukça yaygın kullanılan yüz imgelerinden olusan veritabanında denenip basarımı analizedilmistir. Önerilen methodun diger yaygın olarak kullanılan methodlardan üstünlügü, imgeüzerindeki yüz bölgelerini ön cepheden olmayan durumlarda ve kisiden bagımsız olarak tespitedebilmesidir. Yapılan deneysel sonuçlar göstermistir ki Viola-Jones gibi yaygın kullanılan yüzkonum tespiti algoritmasını dogru bulma açısından geçmektedir.Bilgisayarlı görü ve imge isleme alanlarının sahip oldugu bir diger problem de insanduygularının yüz ifadelerinden algılanmasıdır. nsanların ifade ettigi temel yüzsel duygularinsanlar tarafından kolayca algılanabilesine ragmen, bu tanımlama islemi algoritmik açıdankolay degildir. Bu tez çalısmasında iki adet yüzsel ifade tanımlama algoritması önerilmistir.Önerilen duygu tanımlama algoritmalarının ilki tespit edilecek yüz ifadesinin koordinatdüzlemiyle yaptıgı açıdan etkilenmeyen Zernike Momentleri ile saglanmıstır. Elde edilenZernike momentleri daha sonra hangi duygunun içerdigi seyreltik betimleme tabanlı birsınıflandırıdan (SBS) geçirilerek saglanmıstır. Önerilen sistem tamamen otomatik olup, kisidenbagımsız olarak 6 adet yüzsel ifadeyi tanımlayabilmektedir. Önerilen diger methot ifadesel yüzimgelerinin nötr imge tabanlı bir kümeden seyreltik betimlenmesi ile yüzsel ifadelerintanımlanabilinmesi üzerinedir. Methot, iki asamalı seyreltik betimleme tabanlı sınıfladırıcıviikullanımıyla yüz ve yüzsel ifade tanımlanmasından olusmaktadır. Önerilen bu methodun ilksafhasında, yüz tanımlama probleminin SBS ile çözümü sayesinde elde edilen ve çogunluklayüzdel ifade içeren rezidüel imgeler, fark imgelerinden olusan bir egitim kümesi içinde seyreltikbetimleme tabanlı sınıflandırılmıstır. Genisletilmis Cohn-Kanade (CK+) veri tabanı üzerindeyapılan deneysel sonuçlar göstermektedir ki önerilen method oldukça gürbüzdür.

The problem of face detection refers to determining whether or not there are any faces in agiven image and estimating the location and size of any detected faces. Face detection is animportant first step of many computer vision applications including but not limited tosecurity, face recognition, photography, and facial expression recognition. Face detection is atrivial task for humans, however it is not very easy for computers due to geometric (scale, inplanerotation, pose, occlusions etc.) variations. In this thesis, we propose a new efficienttechnique for localization of faces in arbitrary images. The technique is based onsegmentation of images into skin colored blobs, which is followed by computation of scale,translation and rotation invariant moment-based features to learn a statistical model of facesand non-faces. Our method is trained and evaluated on a standard, publicly available faceimage database and its performance is assessed over a range of statistical pattern classifiers.The superiority of the method to the state-of-the art face detection methods is its ability todetect non-frontal faces in a person-independent way. Experimental results show that theproposed method gives higher true positive rates as compared to the well known Viola-Jonesface detector.One of the other important problems of computer vision and image processing is recognitionof human emotions from facial expressions. Although emotions are recognized by humanseasily, it is not that easy using computer vision and image processing algorithms. In thisthesis, we proposed two facial expression recognition algorithms. The first algorithm is arotation invariant facial expression recognition method using Zernike moment invariants. Weused a sparse representation-based classifier to discriminate the facial expressions. Thesystem is fully automatic, person independent and can recognize six different facialexpressions. In the second algorithm; we show that the sparse representation of expressivefacial images from a basis set of neutral face images can be utilized in facial expressionrecognition. The method consists of face and facial expression recognition parts and uses atwo stages sparse representation-based classifier. In the first part of this method, residualimages are obtained during the face recognition step which contains the facial expressionrelated components of the expressive face mostly, and then the expression in the residualimages are classified using a difference image dictionary. Experimental results are conductedon Extended Cohn-Kanade (CK+) database and results of the proposed algorithms arepromising.