Automatic analysis of head and facial gestures in video streams

Abstract

Video görüntülerinden kafa hareketlerinin ve yüz ifadelerinin otomatik analiziakıllı insan bilgisayar arayüzlerinde önemli uygulamaları olan zorlayıcı bir araştırmaalanıdır. Kafa hareketlerinin ve yüz ifadelerinin olduğu yüz sinyallerinden oluşan sössüzmesajların otomatik olarak sınıfandırılması önemli bir görevdir. Bu görev zorlayöcıdırçünkü sözsüz yüz sinyallerinden zihinsel durum geçişini sağlayacak bir sözlük ya dakod çizelgesi tanımlı değildir. Dahası, sözsüz yüz sinyallerinin oluşumu ve yorumlan-ması kişiye, topluma, o anki ruhsal duruma ve bulunulan ortama göre değişmektedir.Bu tez görsel bilgiye dayalı yüz ve kafa hareketleri analizcisi için gerekli olan başlıcaüç temel görevin çözümünü ele alır. İlk olarak tamamen otomatik, dayanıklı ve has-sas yüz görseline ve yüzün yapısal bilgisine dayalı çalışan on yedi yüz noktası bu-lan bir algoritma geliştirdik. İkinci olarak, eş zamanlı oluşan kafa hareketlerine veyüz ifadelerine dayanıklı çok basamaklı bir yüz nirengi noktası izleme algoritmasıgeliştirdik. Üçüncü olarak, izlenen nirengi noktalarına dayalı çıkarılan özniteliklerinzaman dizileri kullanılarak zihinsel durumun altında yatan yüz davranışlarının analiziele alındı. İki veri gösterimi kullanıldl, bunlar yüz nirengi noktası koordinat gezin-geleri ile ifade esnasında oluşan yüz imgesinin zamanuzamsal gelişiim verisidir. Bu yüzgösterimleri kullanılarak yüz ifadelerini tanımak için yeni ve bir çok kümeden oluşanöznitelikler çıkarılmıştır. Çıkarılan öznitelikler nirengi koordinatlarından oluşn za-man dizileri, yüz geometrik öznitelikleri veya yüzün anlatımsal bölgelerinden çıkarılangörüntü öznitelikleridir. Saklı Markov Modeller ve Saklı Şartlı Rastsal Alanlar gibi dizisınıfandırıcıları ile Bağımsız Bileşenler Analizi, Negatif Olmayan Matris ÇarpanlarınaAyırma ve Kesikli Kosinüs Dönüşümü gibi çeşitli alt-uzay izdüsşüm yöntemleri karşılaştırmaamaçlı kullanılmıştır. Önerilen algoritmalar pozlu ve doğal veritabanları üzerindebugüne kadar kaydedilen en iyi performans değerlerine sahiptir.

Automatic analysis of head gestures and facial expressions is a challenging re-search area and it has significant applications for intelligent human-computer interfaces.An important task is the automatic classification of non-verbal messages composed offacial signals where both facial expressions and head rotations are observed. This is achallenging task, because there is no definite grammar or code-book for mapping thenon-verbal facial signals into a corresponding mental state. Furthermore, non-verbalfacial signals and the observed emotions have dependency on personality, society, stateof the mood and also the context in which they are displayed or observed. This thesismainly addresses the three desired tasks for an effective visual information based auto-matic face and head gesture (FHG) analyzer. First we develop a fully automatic, robustand accurate 17-point facial landmark localizer based on local appearance informationand structural information of landmarks. Second, we develop a multi-step facial land-mark tracker in order to handle simultaneous head rotations and facial expressions.Thirdly, we analyze the mental states underlying facial behaviors by utilizing timeseries of the extracted features. We consider two data representation types, namelyfacial landmark trajectories and spatiotemporal evolution data of the face image dur-ing an emotional expression. Novel and different sets of features are extracted fromthese face representations for the automatic facial expression recognition. Features canbe landmark coordinate time series, facial geometric features or appearance patcheson expressive regions of the face. We use comparatively, feature sequence classifiers:Hidden Markov Models and Hidden Conditional Random Fields, and feature subspacemethods: Independent Component Analysis, Non-negative Matrix Factorization andDiscrete Cosine Transform on the spatiotemporal data with modified nearest neighborclassifier. Proposed algorithms improves the state of the art performance results forboth posed and spontaneous databases.