Facial expression pair matching

Abstract

Yüz ifadesi insanların sosyal iletişiminde önemli bir rol oynamaktadır; bu nedenle yüz ifadesi tanıma, bilgisayarla görme ve makine öğrenmesi yöntemleri ile geliştirilmektedir. Yüz ifadesi için kontrollü ve kontrolsüz veri kümesi olmak üzere iki tip veri kümesi bulunmaktadır. Kontrolsüz veri kümeleri, yüz ifadeleri içeren günlük hayat imgelerinden oluşturulurken; kontrollü veri kümeleri, kişilerin yüz ifadesi taklidi yaptıkları imgelerden veya kontrollü ortamlarda kendiliğinden oluşan yüz ifadelerini içeren imgelerden oluşturulmaktadır. Kontrolsüz veri kümeleri, yüz ifadesi içeren imgelerin kolayca internetten indirilmesi ile oluşturulabilmektedir fakat veri miktarının çok olması nedeniyle alanında uzman kişiler tarafından yapılan etiketleme işlemi oldukça zaman almaktadır. Ayrıca, kontrollü veri kümelerini oluşturmak zor olduğundan, bu tip veri kümeleri genelde az resim içermektedir. Küçük veri kümelerinde veri miktarının az olması ve büyük veri kümelerinin etiketlenmesi problemlerini çözmek için yüz ifadesi çifti eşleştirme yöntemi önerilmiştir. Bu çalışmada iki farklı kişinin yüz ifadeleri bilinmeden, ifadelerin aynı veya farklı olduğu belirlenebilmektedir. Büyük veri kümeleri bu yöntem ile etiketlenebilmekte ve küçük veri kümelerinden oluşturulan imge çiftleriyle eğitilen modellerin test sınıflandırma sonuçları kullanılarak yüz ifadeleri tanınabilmektedir. Deney sonuçları, önerdiğimiz yüz ifadesi çifti eşleştirme yönteminin yüz ifade tanınmasını arttırdığını göstermektedir.

Facial expression plays an important role in the social communication of people. Therefore, Facial Expression Recognition methods have been developed based on computer vision and machine learning techniques. Two types of datasets: controlled and uncontrolled datasets exist for facial expression recognition. Uncontrolled datasets are collected from everyday life images that include facial expressions, while controlled datasets are created from people acting out a facial expression or capturing their spontaneous facial expressions in controlled environments. The annotation of facial expression also requires excessive work even though images can be easily downloaded from the web for the creation of significant amount of uncontrolled dataset. Creating controlled datasets is challenging, hence, these datasets often contain fewer images, conversely. In order to address these problems: augmentation for small datasets and annotation for large datasets, we introduce a new pair matching problem for facial expression recognition. In this study, we are able to determine whether two facial expressions are the same or different without knowing any of the facial expressions. Thus, large datasets can be annotated by using the proposed method. In addition, by training a model from the pairs of a small dataset, and utilizing pair classification results, facial expressions can be recognized. The experimental results show that our pair matching formulation increased the facial expression recognition.