Türkçe konuşma sinyalinden duygu tanıma

Abstract

İnsan-bilgisayar etkileşim teknolojisinde, kullanıcı ve bilgisayar arasındaki etkileşimi daha doğal hale getirecek arayüzlerin tasarımı önemli bir konu haline gelmiştir. Etkileşim sırasında bu tür arayüzlerin uygulanmasına yönelik anahtar adımlardan biri de kullanıcının duygusal durumlarının belirlenmesidir. Bu çalışmada, Türkçe konuşma sinyalinden duygu tanıma konusu araştırılmıştır. Bu amaçla, 5304 adet konuşma sinyalini içeren Türkçe duygusal konuşma veritabanı oluşturulmuştur. Oluşturulan veritabanı konuşma sinyallerinin hem kategorik hem de 3-boyutlu duygu uzayı değerlendirmesini içermektedir. Türkçe konuşmanın akustik parametrelerinin duygulardan nasıl etkilendiği hakkında bilgi elde edebilmek için; temel frekans, formant frekansları ve ünlü harf süreleri gibi konuşma prosodisiyle ilgili bir grup akustik parametre, duygunun fonksiyonu olarak detaylı bir şekilde analiz edilmiştir. Bu çalışmada özellikle konuşma sinyalinden negatif-negatif değil ve kızgın-kızgın değil ikili sınıflandırma problemleri ile temel duygu boyutlarının (değerlik, aktivasyon ve baskınlık) kestirimi üzerine odaklanılmıştır. Konuşma sinyalinden otomatik duygu tanıma için birçok makine öğrenme ve öznitelik seçim algoritmaları incelenmiştir.

An emerging trend in human?computer interaction technology is to design spoken interfaces that facilitate more natural interaction between a user and a computer. Being able to detect the user?s affective state during interaction is one of the key steps toward implementing such interfaces. In this study, emotion recognition from Turkish speech signal is explored. For this purpose, first a Turkish emotional speech database which includes 5304 speech signals is constructed. The database includes both categorical and 3-dimensional emotional space ratings of speech signals. In order to obtain knowledge on how acoustic parameters of Turkish speech are affected from emotions, a set of acoustic parameters related to speech prosody such as fundamental frequency, formant frequencies and vowel durations were analyzed in detail as a function of emotion. This study particularly focuses on two binary classification problems, recognizing negative vs. non-negative emotions and recognizing angry vs. non-angry emotions, and the problem of estimating emotion primitives (valence, activation, and dominance) from speech signals. Several machine learning and feature selection algorithms were explored for automatic emotion recognition from speech.