Occlusion analysis in face frontalization

Abstract

Önleştirme, kısıtsız ortamlarda bulunan surat imgeleri üzerinden ön görünüme sahip olan surat imgeleri sentezlemek olarak tanımlanabilir. Yüz bölgesi üzerinde oluşan kapanmalar, önleştirme yaklaşımlarının hatalı sonuçlar üretmesine sebep olabilmektedir.Bu tezde, bahsi geçen probleme çözüm olarak, kapanmaların önleştirme işlemi üzerindeki olumsuz etkilerini azaltmak için bir yaklaşım önerilmektedir. Bahsedilen yaklaşım, daha tatmin edici görsel sonuçlar elde edebilmek için en uygun önleştirme yöntemini kendi başına seçme kabiliyetine sahiptir. Poz açısına sahip olan yüz, sert-önleştirme sürecinden geçtikten sonra, yüz bölgesi üzerindeki olası kapanmalar iki farklı analiz yöntemine tabi tutulur, bölge ve piksel tabanlı olmak üzere. Son olarak, kapanma analizi sonuçlarına dayandırılarak en uygun önleştirme yöntemi, uygulanmak üzere seçilir. Tezdeki yaklaşımın isabetli ve görsel olarak tatmin edici sonuçlar verdiğini göstermek için Caltech Occluded Faces Dataset üzerinde deneyler yapılmıştır

Frontalization is the process of generating frontal faces from the posed ones appearing in unconstrained environments. Occluders occurring over the face region can make the frontalization approaches generate faulty results. In this thesis, we propose an approach, to address this problem by reducing negative effects of occluders on the frontalization operation. The proposed approach has the capability of choosing the most suitable frontalization procedure, to generate a more visually appealing output. After the posed face image is hard-frontalized, the possible occlusion occurrences over the face are analyzed using two different techniques; region and pixel based analysis. Finally, according to occlusion analysis output, the best approach for frontalization process is chosen to be applied. The experiments performed on Caltech Occluded Faces Database (COFW) show that the proposed algorithm produces satisfactory results in terms of accuracy and visual appearance.