Affect recognition from facial expressions for human-computer interaction

Abstract

Bu tezde ilk olarak renkli imgelerde yüz bulma üzerine hibrid bir yöntem sunulmaktadır. İyi bilinen ve gri tonlu imgelerde çalışan Haar öznitelik tabanlı Viola ve Jones (VJ) yüz bulma algoritmasını, renkli resimlerde daha iyi çalışır hale getirmek için, tamamlayıcı bir bilgi olan insan teninin rengini de kullanan bir yöntem önerilmektedir. İmge önce Haar öznitelik tabanlı yüz bulucudan alıcı işletim karakteristiğinde düşük yüz kaybı oranı ve yüksek yanlış yüz bulma oranı olacak şekilde geçirilir. Daha sonra, yanlış bulunan yüzler önerilen ardıl ten rengi filtresi ile kolayca elenir. Ayrıca, aydınlanma etkilerini azaltmak için renk dengeleme algoritması da kullanılmıştır. Bao renkli imge veritabanı kullanılarak yapılan deneyler sonucunda, önerilen algoritmanın orijinal VJ ve literatürdeki ön-filtreleme algoritmasından kesinlik bakımından üstün olduğu görülmüştür.Bu tezde ikinci olarak, yüz ifadesi tanıma amacıyla, bilinmeyen nötr yüz ifadesinin kestirimi için, yüzdeki geometrik öznitelik vektörleri kullanılarak Gauss Karışım Modelleri'ne dayalı bir yöntem sunulmaktadır. Kestirilen nötr yüz ifadesi, duygulu ifadeden çıkarılarak kişiye bağımlı bileşenler yerine duygu değişimini veren bileşenler elde edilmektedir. Sonra, bu elde edilen duygu değişimine ait bileşenler, destek vektör sınıflandırıcıları kullanılarak sınıflandırılmıştır. Genişletilmiş Cohn-Kanade veritabanı ile yapılan deneylerde, kişiye özel nötr yüz ifadesinin bilinmediği durumlarda yüz öznitelik vektörlerini tek başına sınıflandırmaktansa, kestirilen nötr yüz ifadesinin duygulu yüz ifadesi şeklinden çıkarıldıktan sonra sınıflandırmanın daha iyi tanıma oranları verdiği gözlenmiştir. Ayrıca, duygu tanıma için iki farklı geometrik yüz öznitelik çıkarma yöntemi deneysel olarak değerlendirilmiştir. Bunlardan ilki, takip noktalarının koordinatları tabanlı, ikincisi de bu koordinatlar arasındaki çeşitli mesafe ve açı bilgisi tabanlı yöntemlerdir. Önerilen kestirilen yüz ifadesini çıkaran ve takip noktası koordinat tabanlı öznitelikleri kullanan yöntem ortalama yüzde 88 duygu tanıma oranı vermektedir. Bu oran literatürdeki temel yöntemlere göre daha yüksektir (kişiye özel nötr yüz ifadesi ve görünüm tabanlı öznitelik vektörleri kullanmamasına rağmen). Kişiye özel nötr yüz ifadesi kullanıldığında ise ortalama duygu tanıma oranı yüzde 94'e ulaşmaktadır.Bu tezde üçüncü olarak, filmlerdeki oyuncuların otomatik tanınmasını ve izleyicinin ilgili Internet Movie Database (IMDB) web sayfasına yönlendirilmesini sağlayan bir sistemin ön çalışmasına da yer verilmiştir. Sistemde oyuncuların tanınması için gerekli olan eğitim imgeleri, oyuncuların isimleri kullanılarak yapılan Google görsel arama sonucunda elde edilmiştir. İzleyici, filmde ilgisini çeken bir oyuncu hakkında bilgi edinmek için bu oyuncunun ekrandaki yüzüne tıklar. Bunun ardından, sistem ilk olarak ön, eğer bulamazsa, profil yüz bulma işlemini gerçekleştirir. Bulunan yüz, o sahnede ileri ve geri doğru takip edilip, bir yüz dizisi oluşturulur. Oyuncunun kimliğinin saptanması için önceden webden toplanmış, farklı oyunculara ait eğitim yüz imgesi kümeleri ile filmden çıkartılan yüz dizisi karşılaştırılır. Karşılaştırma sonucunda bulunan en yakın üç kişinin IMDB sayfalarının bağlantıları kullanıcıya sunulur. Bu ön çalışmada, yüz tanımayla ilgili şu üç ilgi çekici nokta incelenmiştir: Yüz imgesi kümesi ile yüz dizilerinin karşılaştırılması, metin tabanlı görsel arama sonucu webden otomatik elde edilen ve gürültü içeren eğitim yüz imgelerinin yüz tanıma başarımı üzerine etkisi, ve son olarak, filmdeki oyuncu listesinden yararlanılması ve bu önsel bilgiyi kullanarak karşılaştırma işleminin daha kısıtlı bir sınıf sayısı için yapılmasının başarıma etkisi. Deneyler sonucunda yüz imgesi kümesi ile yüz dizilerinin karşılaştırılmasının zor bir problem olduğu gözlemlenmiştir.

This thesis first presents a hybrid method for face detection in color images. The well known Haar feature-based face detector developed by Viola and Jones (VJ), that has been designed for gray-scale images is combined with a skin-color filter, which provides complementary information in color images. The image is first passed through a Haar-feature based face detector, which is adjusted such that it is operating at a point on its receiver operating characteristics (ROC) curve that has a low number of missed faces but a high number of false detections. Then, using the proposed skin color post-filtering method many of these false detections are eliminated easily. We also use a color compensation algorithm to reduce the effects of illumination. Our experimental results on the Bao color face database show that the proposed method is superior to the original VJ algorithm and also to other skin color based pre-filtering methods in the literature in terms of precision.This thesis also presents a Gaussian Mixture Model (GMM) fitting method for estimating the unknown neutral face shape for frontal facial expression recognition using geometrical features. Subtracting the estimated neutral face, which is related to the identity-specific component of the shape leaves us with the component related to the variations resulting from facial expressions. These facial expression related components are then classified using Support Vector Classifiers (SVC). Experimental results on the Extended Cohn-Kanade (CK+) database show that subtracting the estimated neutral face shape gives better emotion recognition rates as compared to classifying the geometrical facial features directly, when the person-specific neutral face shape is not available. We also experimentally evaluate two different geometric facial feature extraction methods for emotion recognition. The first one is based on coordinates of landmark points (CBF) and the second one is based on distances and angles (DABF) between landmarks. The average emotion recognition rates achieved with the proposed neutral shape estimation method and coordinate based features is 88 percent, which is higher than the baseline results presented in the literature, although we do not use the person-specific neutral shapes, and any appearance based features. If we use person-specific neutral face shapes, the recognition rate increases to 94 percent.In this thesis, a study on an Internet Movie Database (IMDB) plug-in for cast identification in movies is also presented. While watching a movie, the user clicks on the face of the person he is interested in to acquire information. Afterwards, the system first tries to detect the frontal faces in the clicked frame, and if it cannot find any, a profile face detector is used. The detected face is then tracked backwards and forwards in the shot and a face sequence is obtained. Face recognition is then performed by matching the face sequence extracted from the movie and the face image sets in the training database, which have been collected from the web. IMDB page links of the closest three actors resulting from the matching process is finally presented to the user. In this study, we addressed the following three interesting problems: matching a face sequence and a set of face images, the effects of automatically collected noisy training images on the face recognition performance, and the effects of utilizing prior information of cast on the recognition performance. Experiments have shown that matching between a face sequence and a set of face images is a challenging problem.