Data mining for emotion recognition in speech

Abstract

Konuş̧ma sinyalinde duygu sınıflandırması için kullanılan popüler özellikler temel frekans, ses kalitesi, enerji, spektral ve MFCC'dir. Çalışmaların çoğu konuşmadaki duyguların tanınmasında bu akustik özelliklere odaklanırken, bu tezde biz; duygusal kalıplardan elde edilen özellikleri kullanarak duygu tanıma sorunu ele alınmıstır. Yaklaşımımızda, konuş̧ma sinyalini ayrıklaştırılmış, sinyale dönüştürür ve farklı duygular arasında ayrım yapabilen ayırt edici kalıplar çıkartılmaktadır. Ardından, sınıflandırıcıyı güçlendirmek için; çıkartılan kalıplarla bir dizi vektör özelliği oluşturulur. Deneysel sonuçlar, önerilen yaklaşımın, hem desene dayalıözelliklerden hem de desene ait özelliklerle desteklenen akustik özelliklerden duygusal konuşma durumunu etkili bir şekilde öğrendiğini göstermektedir. Desen bazlı özellikler, son teknoloji akustik özelliklere kıyasla iki sınıflandırıcı teknik kullanılarak doğrulukta %35 'lik artış ile sonuçlanmaktadır. Ayrca, bütün akustik özellikler, desen bazlı özelliklerile desteklendiğinde % 80 'nin üzerinde artış göstermektedir.

The popular features used in speech signal for emotion classification are fundamental frequency, voice quality, energy, spectral, and MFCC. While most of the work focuses on these acoustic features in speech emotion recognition, we handle the problem of emotion recognition using features that are obtained from emotional patterns. In our approach, we transform the speech signal to discretized signal and extract distinctive patterns that can distinguish between different emotions. Then, a set of feature vectors is created using extracted patterns in order to feed a classifier. Experimental results indicate that the proposed approach learns the emotional state of speech efficiently from both pattern-based features and acoustic features that are supported by pattern features. Pattern-based features have resulted in 35 % improvement in accuracy using two classifiers compared to state of the art acoustic features. Moreover, when all acoustic features are combined with pattern-based features, classification accuracy enhances over 80 % in emotion recognition.