A re-acted audio-visual affective Turkish database

Abstract

Otomatik duygu tanıma üzerine yapılann çalışmalar, insan-bilgisayar etkileişimi ve yapay zeka çalışma alanlarındaki önemi sayesinde araştırmacılar tarafından büyük bir ilgi kazanmış durumdadır. Geniş duygu veri tabanları, duygu tanımlama algoritmalarının test edilmesi için gereklidir. Çoğu veri tabanı, rol yapılan verilerden oluşmaktadır. Ancak gerçekçi durumlarda çalışacak duygu tanıma algoritmaları geliştirmek için doğal ve spontan verilere ihtiyaç vardır.Bu tezde, uygu ve zihinsel durum ifadeleri içeren spontan görsel-işitsel yüz veri tabanının kayıt ve etiketlemesini gerçekleştirdik. Hedeflenen duygular; mutluluk, üzüntü, kızgınlık, iğrenme, korku, şaşırma, küçümseme ve sıkıntıdır. Hedeflenen zihinsel durumlar; ilgi (merak dahil), emin olamama ( kafa karışıklığı ve kararsızlık dahil), rahatsız olma (şikayet etme dahil), düşünceli ve konsatredir. Veri tabanı, BAUM1: Bahçeşehir Üniversitesi Spontan Duygusal ve Zihinsel Durum Çok Kipli Duygusal Yüz Veri Tabanı olarak isimlendirilmiştir. BAUM1, 31 denekten toplanmıştır ve iki farklı açıdan (önden stereo ve yarı profilden mono) kaydedilmiş video kliplerini içerir. Veri tabanı yaklaşık 25 saatlik görüntü ve ses verilerinden oluşmaktadır. Veri tabanı bir internet sitesi aracılığıyla araştırmacılarla paylaşılmaktadır ve umarız ki işitsel ve/veya görsel duygu tanımlama üzerine çalışan araştırmacılar için değerli bir kaynak olacaktır.

Scientific research on emotion recognition have gained great interest from researchers in the past decade due to its importance in human-computer interraction and artificial intelligence. Extensive affective databases are needed to test the emotion recognition algorithms. Most of the existing databases available to researchers are collections of acted data. However, naturalistic and spontaneous data is needed for developing affect recognition algorithms which will work under realistic conditions. In this thesis, we recorded and annotated a spontaneous audio-visual face database consisting of expressions of emotions as well as mental states. The targeted emotions are happiness, sadness, anger, disgust, fear, surprise, contempt and boredom. The targeted mental states are interest (including curiosity), unsure (including confusion and undecidedness), bothered (including complaint), thoughfulness and concentration. The database is named as BAUM-1: Bahçeşehir University Multimodal Affective Face Database of Spontaneous Affective and Mental States. BAUM-1 has been collected from 31 subjects and it contains video clips recorded from two different angles (frontal stereo and half profile mono). The database contains about 25 hours of video and audio data. The database is being shared by researchers via a web site and we hope it will be a valuable resource for researchers working on audio and/or visual affect recognition.