Makine öğrenmesi ile Türk müziğinde duygu analizi

Abstract

Müziğin duyguları tetikleme veya iletebilme yeteneği sayesinde insan hayatındaki rolü ve önemi büyüktür. Müzik duygularının tanınması bilim, psikoloji, müzikoloji ve sanat gibi birçok disiplinde ele alınan ortak bir çalışma alanı olduğu için son yıllarda yoğun bir şekilde araştırmacıların ilgisini çekerek güncel araştırma konusu olmuştur. Çoğu araştırmacı müzikten akustik özellikler çıkarır ve bu özelliklere karşılık gelen duygu etiketleri arasındaki ilişkileri araştırır. Bu çalışmada müzik kayıtlarından çıkarılan Chroma spektrogramları ile transfer öğrenme kullanılarak müzik duygu tanıma için yeni bir yöntem sunulmuştur. Önceden eğitimli ağ modeli olarak AlexNet mimarisi kullanılmıştır. AlexNet modelinin Conv5, Fc6, Fc7 ve Fc8 katmanları özellik çıkarıcı katman olarak seçilmiştir ve bu katmanlardan derin görsel özellikler çıkarılmıştır. Çıkarılan derin özellikler Destek Vektör Makineleri ve Softmax sınıflandırıcıları eğitmek ve test etmek için kullanılmıştır. Önerilen yöntemin performansını değerlendirmek için gözetmeli makine öğrenmesi yöntemleri ile de müzik duygu tanıma işlemi yapılmıştır ve elde edilen sonuçlara göre sunulan yöntemin daha iyi performans gösterdiği gözlenmektedir.Ayrıca bu çalışmada müzik dinleme sırasında hissedilen duyguya göre beyinde oluşan elektriksel sinyallerin yapısı gerçekte algılanan duygunun ifade edilmesi açısından öneme sahip olduğu üzerinde durulmuştur. Bu tür çalışmalarda kullanılan veri setlerindeki duygu etiketleri genelde bir gurup gönüllü dinleyici veya uzmanların görüşü alınarak belirlenir. Fakat hissedilen duygular öznel olabilir ve kültürel farklılıklara göre şekillenebilir. Bu bağlamda, müzik parçaları dinlenirken beyninde oluşan Elektroensefalografi (EEG) sinyalleri analiz edilmiştir ve EEG sinyalleri ile müzik duygu tanıma işlemi yapılmıştır.

Music has a great role and importance in human life since it has the ability to trigger or convey feelings. As recognizing music emotions is the subject of many studies conducted in many disciplines like science, psychology, musicology and art, it has attracted the attention of researchers as an up-to-date research topic in recent years. Many researchers extract acoustic features from music, and investigate relations between emotional tags corresponding to these features. In the present study, a new method is presented for music emotion recognition by employing transfer learning with Chroma spectrograms extracted from music recordings. The AlexNet Architecture is used as the pre-trained network model. The Conv5, Fc6, Fc7 and Fc8 layers of the AlexNet model were chosen as the feature extracting layer, and deep visual features were extracted from these layers. The extracted deep features were used to train and test the Support Vector Machines and the SoftMax classifiers. In order to evaluate the performance of the proposed method, music emotion recognition is done by using supervised machine learning techniques as well. Based on the gained results, it is seen that the proposed method has a better performance. In addition, in this study, we emphasize on explaining the form of electrical signals produced by human brain during the course of listening to music has a deep impact on expressing the perceived real emotion. Emotion labels used in data sets in this kind of studies are determined either getting the idea of a group of volunteer listeners or experts. However, sensed emotions could be subjective and it can change depending on the cultural differences. İn this manner, EEG (Electroencephalogram) signals, that are produced by human brain while listening to the music tracks, are analyzed, and music emotion recognition is done by using EEG signals.