Spektral ve Faz Tabanlı Özniteliklerle Çok Sınıflı Motor Hayali EEG Sinyallerinin Sınıflandırılması

Abstract

Beyin-Bilgisayar Ara yüzleri(BBA), insanların herhangi bir kas gücü gerektirmeden tamamen zihinsel olarak elektronik cihazlarla iletişim kurmalarına olanak sağlayan bir teknolojidir. Günümüzde kullanılan BBA sistemlerinde, sinyal elde etmenin kolaylığı nedeniyle çoğunlukla EEG(Elektroensefalogram) sinyalleri tercih edilmektedir. EEG tabanlı BBA uygulamalarında, kişilerin ilgili uzuv hareketlerini hayal etmesiyle elde edilen Motor İmagery(MI) sinyallerinden özellik çıkarmak ve bunları sınıflandırmak oldukça önemli bir konudur. MI-EEG sinyalleriyle ilgili yapılan çalışmalarda, birçok farklı özellik çıkarma yöntemleri ve sınıflandırma algoritmaları kullanılmıştır. Fakat MI-EEG sinyallerinde sınıf sayısı arttıkça, elde edilen sınıflandırma başarıları arasında belirgin farklar gözlemlenmiştir. Bu tez çalışmasında, sinyallerin PSD ve faz bilgilerini içeren özellik çıkarma yöntemleri incelenmiştir. PSD tabanlı özellikleri elde etmek için Ayrık Dalgacık Dönüşümüyle birlikte Welch metodu ve Ampirik Mod Ayrıştırmasıyla birlikte Welch metodu kullanılmıştır. Faz tabanlı özellikleri elde etmek için ise Hilbert dönüşümü ve Hilbert-Huang dönüşümü yöntemleri kullanılmıştır. PSD veya faz bilgileri içeren öznitelik vektörleriyle LSTM derin ağı ve SVM algoritması eğitilmiştir. İki farklı PSD tabanlı yöntemin, sınıflandırma başarılarına olan etkileri kişiler, kanallar ve kullanılan sınıflandırıcı alt başlıkları altında detaylıca incelenmiştir. Ayrıca iki farklı faz tabanlı yöntemin sınıflandırma başarılarına olan etkileri ise kişiler, belirli zaman aralıkları ve kullanılan sınıflandırıcı bazında detaylı olarak incelenmiştir. Tez çalışmasının son kısımlarında, PSD ve faz tabanlı yöntemlerin başarılarının karşılaştırılması yapılmıştır. Ek olarak, makalelerde aynı veri setini kullanarak yapılan 4'lü motor imagery sinyallerinin sınıflandırılmasıyla ilgili bazı çalışmalar ile önerilen yöntemin başarıları karşılaştırılmıştır. PSD ve faz bilgileri içeren özelliklerin sınıflandırıcı başarılarına olan etkilerini incelemek için, BCI Competition IV- 2a veriseti kullanılmıştır. Veri seti 9 farklı kişiye ait; sağ kol, sol kol, ayak ve dil olmak üzere 4 farklı sınıflı, 250 hz'lik örnekleme frekansına sahip [3-6] sn arasında ve 22 kanallı motor imagery sinyallerinden oluşmaktadır. Tüm verisetine 0.5-100 Hz arası band geçiren filtreyle birlikte, şebeke gürültüsünü bastırmak için 50 Hz'lik notch filtre uygulanmıştır. Ham EEG verilerini belirli frekans bandlarına ayrıştırmak için Ayrık Wavelet Dönüşümü ve Ampirik Mod ayrıştırması gibi 2 farklı yöntem kullanılmıştır. Bu yöntemler ile elde edilen bandlara ait PSD değerleri, Welch yöntemi uygulanarak hesaplanmıştır. Delta(0-4 hz), teta(4-8 hz), alfa(8-16 hz) ve beta(16-32 hz) bandlarının belirli PSD değerlerini birleştirerek öznitelik vektörleri oluşturulmuştur. Bu öznitelik vektörleri LSTM ve SVM sınıflandırıcılarıyla eğitilerek, test edilmiştir. Faz tabanlı özellikleri elde etmek için, EEG verilerine Hilbert ve Hilbert-Huang dönüşümleri uygulanıp, analitik sinyaller elde edilmiştir. Analitik sinyallere ait anlık fazlar hesaplandıktan sonra kayan pencere yöntemiyle anlık fazların öz değerleri hesaplanmıştır. Bu öz değerler ile oluşturulan öznitelik vektörlerini kullanarak LSTM ve SVM sınıflandırıcıları eğitilmiştir. Eğitim sonucunda, analitik sinyallerin anlık faz bilgilerini kullanarak yapılan sınıflandırmanın, PSD değerleriyle yapılan sınıflandırmaya göre daha başarılı olduğu görülmüştür. Günümüzde, EEG sinyallerinden faz bilgisi içeren özellik çıkarma yöntemleri ile yapılan çalışmalar sınırlıdır. Önerilen yeni yöntemde, kanal seçimine gerek kalmadan, tüm kanalların etkileri aynı anda incelenmiştir. Anlık fazların kayan pencere yöntemiyle hesaplanan öz değerlerini kullanarak elde edilen sınıflandırma başarısı, çok sınıflı motor imagery sinyallerinden özellik çıkarmada umut vericidir. Ayrıca, popüler bir derin öğrenme algoritması olan LSTM ağının, klasik makine öğrenmesi yöntemi olan SVM'ye göre daha üstün olduğu görülmüştür.Anahtar Kelimeler: Ampirik Mod Ayrıştırması (EMD), Ayrık Dalgacık Dönüşümü (DWT), Beyin-Bilgisayar Arayüzü (BBA), Destek Vektör Makinesi (SVM), EEG Sinyal İşleme, Hilbert Dönüşümü (HT), Hilbert-Huang Dönüşümü (HHT), Motor Hayali (MI), Güç Spektral Yoğunluğu (PSD), Uzun-Kısa Dönem Hafıza (LSTM), Welch Yöntemi.

Brain-Computer Interfaces (BBA) is a technology that allows people to mentally communicate with electronic devices without requiring any muscle power. EEG (Electroencephalogram) signals are mostly preferred in the BBA systems used today due to the ease of signal acquisition. In EEG-based BBA applications, extracting features from Motor Imagery (MI) signals obtained by imagining related limb movements and classifying them is a very important issue. Many different feature extraction methods and classification algorithms have been used in studies on MI-EEG signals. However, as the number of classes in MI-EEG signals increased, significant differences were observed between the obtained classification accuracies.Keywords: Brain Computer Interface (BCI), Discrete Wavelet Transform (DWT), EEG Signal Processing, Empirical Mode Decomposition (EMD), Hilbert Transform (HT), Hilbert-Huang Transform (HHT), Long-Short Term Memory (LSTM), Motor Imagery (MI), Power Spectral Density (PSD), Support Vector Machine (SVM), Welch Method. In this thesis, feature extraction methods including PSD and phase information of signals were examined. Welch method with Discrete Wavelet Transform and Welch method with Empirical Mode Decomposition were used to obtain PSD based properties. Hilbert transform and Hilbert-Huang transform methods are used to obtain phase based properties. LSTM deep network and SVM algorithm were trained with feature vectors containing PSD or phase information. The effects of two different PSD-based methods on the classification accuracy were examined in detail under the subheadings of persons, channels and classifier used. Also, the effects of two different phase-based methods on the classification accuracy were examined in detail on the based of individuals, specific time intervals and the classifier used. In the last parts of the thesis, the accuracy of PSD and phase-based methods has been compared. In addition, some studies on the classification of 4-motor imagery signals using the same data set in the articles with a comparison of the accuracies obtained with proposed method were made. BCI Competition IV-2a dataset was used to examine the effects of PSD and phase information features on classifier accuracies. The data set belongs to 9 different people; It consists of motor imagery signals with 4 different classes as right arm, left arm, foot and tongue, with a sampling frequency of 250 Hz and between [3-6] seconds and 22 channels. A 50 Hz notch filter has been applied to the entire data with a band-pass filter between 0.5-100 Hz to suppress network noise. Two different methods such as Discrete Wavelet Transform and Empirical Mode Decomposition were used to decompose raw EEG data into specific frequency bands. PSD values of the bands obtained by these methods were calculated by applying the Welch method. Feature vectors were created by combining certain PSD values of the delta (0-4 hz), theta (4-8 hz), alpha (8-16 hz) and beta (16-32 hz) bands. These feature vectors were trained and tested with LSTM and SVM classifiers. In order to obtain phase-based properties, Hilbert and Hilbert-Huang Transformations were applied to the EEG data and analytical signals were obtained. After calculating the instantaneous phases of the analytical signals, the eigenvalues of the instantaneous phases were calculated using the sliding window method. LSTM and SVM classifiers were trained using feature vectors generated with these eigenvalues. As a result of the training, it was seen that the classification made using the instantaneous phase information of analytical signals was more successful than the classification made with PSD values. Currently, studies using feature extraction methods containing phase information from EEG signals are limited. In the proposed new method, the effects of all channels were examined simultaneously without the need for channel selection. The classification accuracy achieved by using the eigenvalues of instantaneous phases calculated by the sliding window method is promising in extracting features from multi-class motor imagery signals. In addition, it has been observed that the LSTM network, which is a popular deep learning algorithm, is superior to SVM, which is a classical machine learning method.