Facial feature point tracking based on a graphical model framework

Abstract

Bu tezde önerilen yöntem, insan-bilgisayar arayüzü, mimik analiz sistemleri, sürücü yorgunluğu algımalara sistemlerinde kullanılabilecek bir yüz öznitelik takip yöntemidir. Önerilen yöntemin tabanı grafiksel modellere dayanmaktadır. Zamandaki istatistiksel ilişkiler ve öznitelikler arasındaki uzamsal ilişkiler kullanılarak öznitelik noktalarının yerleri takip edilmektedir. Yukarıda bahsedilen bir çok uygulama alanında takip, bütün sistemin başarımını etkileyebilecek kadar önemli bir role sahiptir. Bu nedenle iyi bir takip algoritması gerçekte meydana gelebilecek şartları (keyfi kafa hareketleri ve yüz üzerinde oluşabilecek engeller) göz önüne almalıdır. Varolan bir çok yöntemde öznitelik noktaları ayrı ayrı takip edilmekte ve engel olma durumu düzgün şekilde ele alınmamaktadır. Bu, keyfi kafa hareketlerinde ve engel durumlarında kaymalara sebep olmaktadır. Burada önerilen yöntem öznitelikler arasındaki uzamsal bilgiyi de hesaba katarak bu tarz durumlarda gürbüzlük sağlamaktadır. Engeller yüzünden oluşabilecek kaymalar Gabor öznitelikleri üzerine kurulu bir engel algılayıcı ile düzgün bir şekilde bertaraf edilebilmektedir.Önerilen yöntemin başarımı bir çok farklı şartlar altında kaydedilmiş videolar üzerinde değerlendirilmiştir. Bu farklı şartlar; özniteliklerin engellenerek sahnede görülmediği durumları, düşük çözünürlüklü verileri, sahnede aydınlanma değişimi olan durumları, düzlemsel kafa hareketi ve düzlem dışı kafa hareketlerinin olduğu durumları içermektedir. Yöntem ayrıca otomobil ortamında kaydedilen videolarda da denenerek, yöntemin pratik bir uygulamadaki başarımı değerlendirilmiştir. Bu sonuçlardan yola çıkarak, önerilen yöntemin yüz öznitelik takibi için yaygın kullanılabilecek, gelecek vaadeden bir yöntem olduğu sonucuna varılabilmekte ayrıca engel ve kafa hareketi içeren mimik video dizilerindeki başarımına göre de gürbüz bir yöntem olduğu sonucuna varılabilmektedir. Otomobilde sürüş şartlarında kaydedilen videolardaki başarıma bakılırsa yöntemin, sürücü davranışı analiz sistemlerinde veya sürücü yorgunluk algılama sistemlerinde kullanılabilecek kuvvette bir yöntem olduğu kanısına varılabilir.

In this thesis a facial feature point tracker that can be used in applications such as human-computer interfaces, facial expression analysis systems, driver fatigue detection systems, etc. is proposed. The proposed tracker is based on a graphical model framework. The position of the facial features are tracked through video streams by incorporating statistical relations in time and the spatial relations between feature points. In many application areas, including those mentioned above, tracking is a key intermediate step that has a significant effect on the overall system performance. For this reason, a good practical tracking algorithm should take into account real-world phenomena such as arbitrary head movements and occlusions. Many existing algorithms track each feature point independently, and do not properly handle occlusions. This causes drifts in the case of arbitrary head movements and occlusions. By exploiting the spatial relationships between feature points, the proposed method provides robustness in a number of scenarios, including e.g. various head movements. To prevent drifts because of occlusions, a Gabor feature based occlusion detector is developed and used in the proposed method.The performance of the proposed tracker has been evaluated on real video data under various conditions. These conditions include occluded facial gestures, low video resolution, illumination changes in the scene, in-plane head motion, and out-of-plane head motion. The proposed method has also been tested on videos recorded in a vehicle environment, in order to evaluate its performance in a practical setting. Given these results it can be concluded that the proposed method provides a general promising framework for facial feature tracking. It is a robust tracker for facial expression sequences in which there are occlusions and arbitrary head movements. The results in the vehicle environment suggest that the proposed method has the potential to be useful for tasks such as driver behavior analysis or driver fatigue detection.