Görüntü işleme teknikleri kullanılarak yüz ifadelerinden duygu analizi

Abstract

nsanlar arası iletişimde büyük rol oynayan yüz ifadeleri duygu, düşünce ve ruhsal durumlarla ilgili bilgi vermede oldukça önemli bir yere sahiptir. İnsanlar arasındaki bu etkileşim gelişen teknolojiyle beraber insan makine ilişkisi içinde kullanılması amaçlanmıştır. Bu sebeple insanlara ait duyguların bilgisayarlar tarafından anlaşılması ve öğrenilmesi oldukça önemli bir konu haline gelmiştir. Birçok alanda yüz ifade analizine ihtiyaç doğduğundan verilerin hızlı işlenip sonucun en büyük doğruluk oranı ile bulunmasını gerektirmiştir. Böylece artan ihtiyaç ve gelişen teknoloji ile bu alanda yapılan çalışmalar da hızla artmıştır. Bu çalışmada insanın sahip olduğu `öfke, iğrenme, korku, mutluluk, üzüntü, şaşkınlık ve doğal` olmak üzere 7 duygu durumunun analizi gerçekleştirilmiştir. Bu 7 durumun sınıflandırılmasından önce gerçekleşmesi gereken temel adımlar vardır. Temel olarak bu adımlar; yüzün belirlenmesi, görüntünün temizlenip normalize edilmesi, görüntüden özniteliklerin çıkarılması, yüzdeki değişimlerin izlenmesi ve sınıflandırılmasıdır. Yüz ifadelerinin tespiti amacıyla 35887 adet yüz görselinden oluşan veri kümesinde çalışma yapılmıştır. Bu veri kümesi kullanılarak 7 farklı yüz ifadesi sınıflandırılmıştır. Bu çalışmada gri formatta bulunan 48x48 boyutundaki görseller önermiş olduğumuz CNN modeline uygulanmış ve başarımları değerlendirilmiştir. Yapılan çalışma da FER2013 veri kümesinde bulunan yüz ifadelerini otomatik sınıflandırmak amacıyla bir evrişimsel sinir ağı (CNN) önerilmiş olup, optimizasyon fonksiyonu olarak da `adam` ve `sgd` optimizasyon fonksiyonları ayrı ayrı denenerek sonuçları elde edilmiştir. `Adam` optimizasyon fonksiyonu kullanılarak önerilen modelde doğruluk oranı %69 olarak elde edilirken `sgd` optimizasyon fonksiyonu kullanılarak önerilen modelde ise doğruluk oranı %92 elde edilmiştir. Böylece önerilen modelde sgd optimizasyon fonksiyonunun doğruluk oranı adam optimizasyon fonksiyonunun doğruluk oranından daha yüksek olduğu belirlenmiştir.Anahtar kelimeler: Görüntü İşleme, OpenCV, Yüz İfade Sınıflandırılması, Derin Öğrenme, Yapay Sinir Ağları, CNN

Facial expressions, which play a major role in interpersonal communication, provide information about emotions, thoughts and mental states. This interaction among people is aimed to be used in human-machine relationships with the advancements of technology. Therefore, understanding and learning human emotions by machines has become a significant issue. However, it is necessary to process facial expressions rapidly and as accurately as possible. In this study, 7 emotional states of `anger, disgust, fear, happiness, sadness, astonishment and natural` have been analyzed. There are basic steps to be taken before classifying these 7 emotional states, including; determining the face, cleaning and normalizing the image, extracting the features from the image, tracking and classifying the changes in the face. A study was conducted on a dataset of 35887 facial images to determine facial expressions. Using this data set, 7 different facial expressions were classified. In this study, 48x48 images in gray format were applied to our proposed CNN model and their performance was evaluated. In the study, a convolutional neural network (CNN) was proposed to automatically classify facial expressions in the FER2013 dataset, and the results were obtained by testing the `man` and `sgd` optimization functions separately as optimization functions. While the accuracy rate was 69% in the proposed model using the `Adam` optimization function, the accuracy rate was 92% in the proposed model using the `sgd` optimization function. Thus, it has been determined that theaccuracy rate of the sgd optimization function in the proposed model is higher than the accuracy rate of the man optimization function.Keywords: Image Processing, OpenCV, Facial Expression Classification, Deep Learning, Artificial Neural Networks, CNN