Çok değişkenli sinyal işleme teknikleri kullanarak eeg ile duygu durum analizi

Abstract

Sinyal işleme yöntemlerini kullanarak duygu tespiti ve duygusal modellemede sınıflandırma süreci için kullanılacak optimum öznitelik kümesi elde etmek, üzerinde yoğun olarak çalışılan bir konudur. Son yıllarda Hilbert tabanlı Görgül Kip Ayrışımı yöntemi kullanılarak yapılan duygu durum analizi araştırmaları beyin bilgisayar arayüzü çalışmalarında önemli bir yer tutmaktadır. Daha yeni çalışmalarda ise Görgül Kip Ayrışımı (GKA) sonrası elde edilen özgül kip fonksiyonlarına uygulanan zaman, frekans, zaman-frekans bölgesindeki özniteliklerle sınıflandırmalar gerçekleştirilmiştir. Bu tezde, EEG sinyalleri yoluyla Görgül Kip Ayrışımı'nın çok değişkenli uzantısı kullanılarak elde edilen özgül kip fonksiyonlarına çoklu çözünürlük analizi ve senkrosıkıştırma yöntemi uygulandıktan sonra elde edilen özniteliklerle sınıflandırmanın yapıldığı bir duygu durum analizi önerilmiştir. Ayrıca yöntemdeki mod karıştırma, ortogonalite gibi eksiklere çözüm olarak önerilen Gürültü Destekli Çok Değişkenli Görgül Kip Ayrışımı ve Adaptif Ortogonal Çok Değişkenli analiz yöntemleri de duygu durum analizi modeli olarak değerlendirilmiştir. Öte yandan, Çok Değişkenli Senkrosıkıştırma Dönüşümü kompakt bir lokalize zaman-frekans temsilini oluşturmak için bir işlem sonrası tekniğidir. EEG sinyalleri kullanılarak Çok Değişkenli Senkrosıkıştırma Dönüşümü ile üç boyutlu duygusal durum sınıflandırması için bir yaklaşımı da tez çalışmasında önerilen diğer bir konudur. Ortak protokol oluşturması amacı ile ve önerilen yöntemlerle elde edilen öznitelikleri DEAP veri setindeki genel olarak bütün katılımcıların EEG sinyalleri kullanılarak, çıkış vektoru olarak öz-değerlendirme-anketi etiketleri, sınıflandırma sürecinde en yakın komşu sınıflandırıcı, karar ağacı, topluluk sınıflandırıcı, destek vektör makineleri kullanılarak duygusal durum sınıflandırmaları değerlendirilmiştir.

Emotion detection by utilizing signal processing methods and the optimum feature set to be used for the classification process in emotional modelling is a is a challenging area. In recent years, utilizing Hilbert-based Empirical Mode Decomposition for emotional state sensing researches attracted attention in the brain computer interfaces. In more recent studies, models of emotional state recognition have been presented in which the classification is performed by utilizing the features obtained after applying the time, frequency, and time-frequency domain methods to intrinsic mode functions achieved by operating Empirical Mode Decomposition. In this thesis, an emotion recognition model is proposed in which the classification process of the features obtained after Multi-resolution Analysis and Synchrosqueezing methods are applied to the intrinsic mode functions obtained using the multivariate extension of the Empirical Mode Decomposition from EEG signals. Furthermore, Noise-assisted multivariate methods of empirical mode decomposition and Adaptive orthogonal multivariate method of it are also evaluated as an emotion analysis model as a solution of mod mixing and orthogonality problems of the intrinsic mode functions. On the other hand, an approach for emotional state classification by the investigation of EEG signals via Multivariate Synchrosqueezing Transform is presented for a 3D dimensional emotion space because of the fact that Multivariate Synchrosqueezing Transform is a post-processing technique to compose a compact localized time-frequency representation yielding multivariate synchrosqueezing coefficients. For the purpose of setting a common protocol for all proposed methods, the features sets of all the proposed methods in this thesis are categorized using EEG signals of all participants in the DEAP dataset in the classification process in which self-evaluation questionnaire tags are used as output vectors and the nearest neigh-boring classifier, decision tree, ensemble classifier, support vector machines are used for classifiers.