Statistical facial feature extraction and lip segmentation

Abstract

Yüz öznitelikleri; insan yüzündeki dudak köşeleri, göz köşeleri ve burun ucugibi kritik noktalardır. Bu tür yüz özniteliklerinin konumlarının sağlam çıkarımış;görsel-işitsel konuşma tanıma, insan-bilgisayar etkileşimi, duygu tanıma, yorgunlukalgılaması ve hareket tanımayı da kapsayan geniş bir uygulama alanına sahiptir.Bu tezde, yüz özniteliklerinin çıkarılması için bir olasılık modeli geliştirilmiştir.Bu teknik, yüz özniteliklerinin konum ve doku bilgisini bir eğitim kümesinden otomatikolarak öğrenebilir. Yüz özniteliklerinin konumları, konum ve doku bilgisinin ortakdağılımını temsil eden Gauss karışımlarını kullanarak yüz bölgelerinden çıkarılır. Buformülasyon, rampa tırmanışı veya Newton türü bir algoritma ile çözülebilecek birmaksimum ihtimal problemi ile sonuçlanır. Çıkarılmış dudak köşeleri daha sonra dudakhatlarını çıkarmak amacıyla bir dudak bölümlemesi algoritmasını başlatmak içinkullanılır. Dudak bölümlemesi için, uyarlamalı renk uzayı ve şekil önceliklerindenyararlanan düzey-kümesi tabanlı bir yöntem geliştirilmiştir. Daha detaylı olarak,dudak ve dudak dışı noktalaların renk bilgilerini bir eğitim setinden ögrenebilen örtükbir eğri temsilcisi kullanılmıştır. Bu model, kaba bir eliptik bölge kullanarak kendiniilgili resme uyarlayabilir. Çıkarılan dudak hatları, dudak şekliyle ilgili detaylı bilgisağlar.Yüz öznitelikleri çıkarımı ve dudak bölümlemesi yöntemleri farklı veritabanlarıkullanılarak test edilmiştir. önerilen yöntemlerin, geleneksel yöntemlere göredaha iyi sonuçlar verdiği gösterilmiştir. Yüz öznitelikleri çıkarma yöntemi, pikselhatası bazında aktif görünüm modellerinden daha iyi sonuç vermiştir. Dudakbölümleme yöntemi ise, duyarlık ve akletme bazında bölge tabanlı düzey-kümesieğri gelişiminden daha iyi sonuç vermiştir.

Facial features such as lip corners, eye corners and nose tip arecritical points in a human face. Robust extraction of such facialfeature locations is an important problem which is used in a widerange of applications including audio-visual speech recognition,human-computer interaction, emotion recognition, fatigue detectionand gesture recognition.In this thesis, we develop a probabilistic method for facial featureextraction. This technique is able to automatically learn locationand texture information of facial features from a training set.Facial feature locations are extracted from face regions using jointdistributions of locations and textures represented with mixtures ofGaussians. This formulation results in a maximum likelihood (ML)optimization problem which can be solved using either a gradientascent or Newton type algorithm. Extracted lip corner locations arethen used to initialize a lip segmentation algorithm to extract thelip contours. We develop a level-set based method that utilizesadaptive color distributions and shape priors for lip segmentation.More precisely, an implicit curve representation which learns thecolor information of lip and non-lip points from a training set isemployed. The model can adapt itself to the image of interest usinga coarse elliptical region. Extracted lip contour provides detailedinformation about the lip shape.Both methods are tested using different databases for facial featureextraction and lip segmentation. It is shown that the proposedmethods achieve better results compared to conventional methods. Ourfacial feature extraction method outperforms the active appearancemodels in terms of pixel errors, while our lip segmentation methodoutperforms region based level-set curve evolutions in terms ofprecision and recall results.