İnsanın yüz mimiklerinden durum analizi yapma

Abstract

Yüz mimikleri, kişiler arası ilişkilerde önemli rol oynayan, sözlü olmayan evrensel işaretlerdir. İnsanlar konuşmalarının belirli bir bölümünü vurgulamak ve duygularını göstermek için mimiklerini kullanırlar. İnsanoğlu bu mimikleri kavramada herhangi bir zorluk çekmezken, bu durum makineler için geçerli olmayıp, halen daha başarılı ve daha güvenilir mimik tanıma sistemleri üzerinde çeşitli araştırmalar yapılmaktadır.Yapılan tezin amacı, insana ait çeşitli yüz resimlerinden mimik durum analizi yapmaktır. Yüz mimikleri için 'mutlu', 'üzgün', 'korkmuş', 'sinirli', 'şaşkın', 'iğrenmiş', nötr' olmak üzere yedi adet evrensel mimik kullanılmıştır. Yapılan çalışma dör tana bölüm olarak incelenebilir:Resmin ön işlemlerden geçirilmesi: Yüz mimik analizinde görüntülerin bilgisayar tarafından işlenebilecek sayısal veriler haline dönüştürülmesi gerekmektedir. Sayısal verilerin anlamlandırılması için bu sayısal veriler görüntü işlemenin temel adımlarından geçirilmiştir.Yüz tespiti: Analiz yapılacak resimden sadece yüzün tespit edilip, diğer faktörlerin (örneğin, saç, boyun vs.) çıkarılması çalışma zamanını olumlu etkileyecektir. Viola ve Jones algoritması kullanılarak resimden yüz tespit edilmiş, bir dikdörtgen ile yüz kırpılmıştır.Geliştirilen birinci yaklaşımda HOG yöntemi kullanılarak öznitelikler çıkarılmış, DVM ile sınıflandırma yapılmıştır.Geliştirilen ikinci yaklaşımda Derin öğrenmenin özelleşmiş bir modeli olan 'Konvolüsyonel Sinir Ağları' ile öznitelikler çıkarılıp, bu öznitelikler yedi mimik sınıfından birine sınıflandırılmıştır. Daha sonra bu iki yaklaşım karşılaştırılmıştır.

Facial gestures are universal, non-verbal signs play an important role in interpersonal relationships. People use gestures to emphasize a specific part of their speech and to show their emotions. While human beings do not have any difficulty in the concept of these gestures, this does not apply to machines, but various researches are still being carried out on more successful and more reliable mimic recognition systems.The aim of the thesis is to detect facial gestures from various face pictures belonging to human. Seven different mimic classes were defined for facial gestures: 'happy', 'sad', 'frightened', 'angry', 'surprised', 'disgusted', 'neutral'. The work to be done can be examined in four main sections:Pre-processing of face pictures: In face gesture analysis, images must be transformed into numerical data that can be processed by computer. For the interpretation of numerical data, these numerical data must be passed through the basic steps of image processing.Face detection: Determining only the face from the image to be analyzed and removing other factors (e.g. hair, neck, etc.) will affect the working time. Viola and Jones algorithm was used to detect the face from the pictures and crop the face with a rectangle.In the first approach to be developed, features were extracted by using 'Histogram of Oriented Gradients' method and classified with 'Support Vector Machines'.The second approach to be developed is to extract the features with the Deep Learning Model 'Convolutional Neural Networks' and classify them into one of seven mimic classes. These two approaches were compared.