Ses sinyallerinde duygu tanıma ve geri erişimi

Abstract

Ses sinyalinde duygu tanıma özelikle, görsel bilginin kısıtlı ya da hiç olmadığı durumlarda önem kazanmaktadır. Bu çalışmada, tam ve genişletilebilir bir ses tabanlı duygu tanıma ve geri erişim çatısı önerilmiştir. Makine öğrenme yöntemi olarak Destek Vektör Makineleri (DVM) kullanılmış ve performansını artırmak amacıyla parametre optimizasyonu gerçekleştirilmiştir. Ses içerik analizlerinde, uygun pencere ve atlama sürelerine karar verebilmek için ampirik analizler gerçekleştirilmiştir. Çalışmada, gürbüz öznitelikler bulmak amacıyla, 20 ses özniteliği üzerinde, DVM kullanılarak kapsamlı analizler yapılmış ve sonuçlar değerlendirilmiştir. Ayrıca, ses sinyallerinin duygu-tabanlı geri erişimi için, nokta, aralık ve en yakın komşuluk olarak adlandırılan sorgu türleri geliştirilmiş ve geri erişim başarımları değerlendirilmiştir. Deneysel sonuçlara göre, sınıflandırıcı parametre optimizasyonu ve önerilen ses analiz yöntemleri, dayanak tanıma başarımlarını arttırmaktadır.

Emotion recognition from audio signals become more of significance especially when visual information is limited or absent. In this study, a complete and extensible audio-based emotion recognition and retrieval framework is proposed. Support Vector Machine (SVM) is employed as the machine learning scheme and parameter optimization methods are carried out to improve the performance of the learner. In audio content analysis, empirical analyses are performed to decide the proper window and hop sizes. In the study, extensive analyses are conducted using 20 audio features with SVM classifier to determine robust audio features and to evaluate the results. In addition, flexible querying abilities, namely point, range, and nearest neighbor are developed and retrieval performance is evaluated for emotion-based retrieval of audio signals. Based on the experiments, parameter optimization of the classifier along with the proposed audio analysis methods improve the baseline recognition accuracy.