Classification of the motor EEG signals by using deep neural networks

Abstract

Zaman geçtikçe, teknolojik yenilikler hayatımızın vazgeçilmezleri haline geliyor. Bu durumda, insanlar aralıksız yeni keşifler yapmayı veya diğerlerinin yaptıklarını geliştirerek diğerlerinden daha iyi sonuçlar elde etmeyi amaçlar. Bu teknolojik deneylerin türünde, eğitimde veya günlük yaşamımızda olsun, genel olarak insan yaşamını kolaylaştırması amaçlanmaktadır. BCI (Beyin bilgisayar arayüzü ) da tam olarak bu sinifa dahildir. BCI son dönemlerde araştırma konularında önemli ölçüde değer kazanmaya başlamıştır. Gerek engelli insanlarla iletişim kurulması, yaşam kalitesinin arttırılması; gerekse oyun sektöründe kullanılma potansiyelinin yüksek oluşu konunun insani ve ticari yönden değerini arttırmaktadır. Oyun ekipmanından yapay organlara kadar çok çeşitli uygulamalarda kullanılan BCI teknolojisinin başlıca amacı, insan beyni ile elektronik cihaz arasında hiçbir bir periferik sinir yolu olmayan ara iletişim kanalı oluşturmaktır.Bağımsız ve pratik BCI türü olmasından dolayı, MI (hayali motor) çeşitli BCI en popüler metodlardan biridir. Hayali motor hareketler, gerçekte hiçbir fiziksel vücut haraketi yapmadan onun hayalini beyinde canlandırmaktır. Buna, sağ elin,sol elin veya ayaklarımızı hareket etdiriyor gibi düşünmek örnek ola bilir. MI hareketleri zamanı, beyinde sinyaller oluşmaya başlar ve bu motor sinyaller beyin bölgesinin üst-orta kısmında yerleşen motor korteksde üretiliyor ve genel olarak beş sınıfa ayrılıyor: α,β,θ,λ,γ. Her biri farklı frekans aralığını kapsıyor ve her biri farklı durumlarda yaranıyor, örneğin uyku zamanı veya ayık olduğumuz durumlar. Bu sinyalleri toplamak için çeşitli yöntemler kullanılıyor: Manyetoensefalografi (MEG), Elektroensefalogram (EEG), veya Fonksiyonel manyetik rezonans görüntüleme (fMRI) vb. Bilimsel araştırmalarda, örneğin, BCI'da en çok tercih edilen sinyal toplama yöntemi tam olarak EEG'dir. Non-invaziv olması EEG'yi tercih etmek için önemli sebeplerden biridir, çünkü bu teknik sinyal kaydı sırasında ameliyat gerektirmez. EEG başka bir deyişle- elektroansefalo, kafanın farklı bölgelerinde yerleştirilmiş elektrodlar, bu elektrodların bağlandığı amplifaktör ile insan beyninde üretilen sinyelleri kağıt üzerinde veya bilgisayarda basıyor. EEG bir çok alanda kullanıla bilinir: tıpta, deneysel araştırma labaratuarlarında ve saire. Epilepsi, beyin tümörü, hafıza bozuklukları, uyku problemleri, felç vb. birçok hastalıklar bile EEG kullanılarak tespit edilebilinir. Burada, BCIda sağlam veya hasta insanlar üzerinde farklı deneyler yapılarak tüm bedeni veya bedeninin bir kısmı felç olan insanlara bir tür yardımda bulunmak istenilir. Deneyler sırasında, EEG ile toplanılan beyinde üretilen sinyaller daha sonra sınıflandırılma adlandırılan prosedürde kullanılır. Mesela eğer deney sırasında sağ veya sol elimizi hareket etdirdiyimizi hayel etmeyi isterlerse, sınıflandırma yaparak toplanmış sinyallerin hangisinin sağ ve hangisinin sol el hayali hareket zamanı beyinde üretildiğini bula biliriz. Fakat bu o kadar da kolay bir işlem değildir. Sınıflandırma zamanı daha yüksek ve başarılı sonuçlar almak için herkes farklı yöntemler kullanır. Ancak klasik yöntemlerle elde edilen sınıflama başarımları henüz istenilen düzeylere ulaşamamıştır. Bu bağlamda hızlı ve sınıflama başarımı yüksek yeni yöntemlerin araştırılması son derece önemlidir. Son yıllarda derin öğrenme konusunda yüksek sınıflama başarımları elde edildiği gözlenmektedir. Bu tez çalışmasında EEG işaretleri, yüksek sınıflama başarımı olan derin sinir ağları kullanılarak sınıflandırılmıştır. Çalışmada geliştirilen ağ modelleri, 2008 yarışmasında yayınlanan ve Graz Universitesi tarafından gerçekleştirilmiş veri tabanı üzerinde denenmiştir. 2008 yarışma veri tabanında 9 denek bulunmaktadır. Her denek için farklı zamanlarda alınmış 5 EEG kaydı bulunmaktadır. Kayıtlar alınırken 3 tanesi için geri besleme kullanılmıştır. Yani, kayıt alınırken ekranda gösterilen komutun ne kadar doğrulukla icra edildiği geri besleme ile deneğe bildirilir. Bu çalışmada geri besleme kullanılmadan alınan kayıtlar kullanılmiş ve elde edilmiş olan sonuçların bu kayıtlarda bile yüksek başarı kazana bildiği gösterilmiştir. Her deneğe hayali motor haraketleri icra etmesi istenilir, yani, 7 saniye kapsamında ekranda gösterilen okun yönüne uygun olarak sağ veya sol elini hareket ettirdigini düşünmesi istenlir ve bu sırada EEG kayıtları toplanır. Dolayısıyla EEG işaretlerinde sadece iki sınıfa ait bilgi bulunmaktadır. Kayıtlarda 3 kanaldan (C3, C4, Cz) alınan EEG verileri bulunmaktadır.Çalışmada kanal sayısının sınıflama başarımı üzerindeki etkileri incelenmiştir. Bu bağlamda iki metot karşılaştırılacaktır: (i) 3 kanaldan gelen EEG verileri, sınıflandırılması için direkt olarak derin sinir ağına (DNN) verilmektedir. Burda, öznitelik çıkarmak için başarılı sonuçları ile popüler olan Evrişimsel Sinir Ağı (CNN), sınıflandırma için ise Tamamen Bağlı Sinir Ağı (FCNN) kullanılmaktadır.(ii) 3 kanaldan gelen EEG verileri, 5 farklı frekans bandına sahip süzgeçle süzülür. Bu durumda kanal sayısı, 15'e yükselir. 15 kanaldan gelen EEG verileri, Ortak Uzamsal Örüntü (CSP) metodu kullanılarak ayrıştırılır ve CSP çıkışındaki sinyalleri önce CNN daha sonra ise FCNN metodunu kullanarak sınıflmadırma yapılır. Genelde EEG verilerinin daha doğru sınıflandırılabilmeleri için kanal sayısının büyük olması istenilmektedir. Ancak bu durum, sistemi daha da karmaşık hale getirebiliyor. Çalışmada sanal olarak arttırılan yeni kanalllar ile hem sınıflama başarımı arttırılır hem de sistem karmaşası azaltılır. Çalışmada aynı zamanda derin sinir ağının genelleme özelliği de incelenmektedir. Beyin bilgisayar arayüzü sistemleri genellikle kişiye bağlı tasarlanmaktadır. Bu nedenle önce 9 deneğin her biri için ayrı bir derin sinir ağı bulunmuştur. Her ne kadar CSP basitlikle güçlü bir yöntem olsa da, bazı eksiklikleri de mevcutdur. CSP'nin beyin bilgisayar arayüzlerinde motor hareketindeki başarısı büyük ölçüde ERD (olaya dayalı senkronizasyon) ve ERS (olaya dayalı senkronizasyon) denilen fizyolojik olaylara bağlıdır ve bu yöntem çoğunlukla bireysel sistemlerde kullanılır. CSP ile yüksek sınıflama başarımı elde edilmesine karşın aslında CSP'nin kişiye/deneğe bağlı olması metodun bir dezavantajıdır. Bu dezavantaj, derin sinir ağı kullanılarak giderilmiştir. Bu bağlamda tüm 9 deneğe ait veri kullanılarak deneklerin hepsi için tek bir derin sinir ağı bulunmuştur. Çalışmada EEG verileri, MATLAB ortamında ayrıştırılır. Filtreler ve CSP metodu kullanılarak veriler ayrı ayrı dizinlere yazılır. Daha sonra, dizinlere ayrıştırılan veriler, derin sinri ağını eğitmek için kullanılır. Derin sinir ağlarının eğitimi, GeForce 2080 Nvidia grafik kartına sahip bir iş istasyonunda yapılmıştır. Derin sinir ağı modelleri, Linuks ortamında Python dilinde Tensorflow kütüphanesi kullanılarak kodlanmıştır. Toplam EEG veri kaydının %80'si eğitim kümesi için; diğer %20'si ise test kümesi için kulllanılmaktadır. Bu tezde yüksek sınıflama başarımı veren, şahıstan bağımsız yeni bir beyin blgisayar arayüzü metodu (filter + CSP + derin sinir ağı) geliştirilmiştir.

The brain-computer interface (BCI), establishing relationship between brain and devices have become increasingly important recent times. Both being able to communicate with disabled people and playing video games without effort increases the value of the subject. However, the classification achievements of BCI that obtained by conventional methods have not yet reached the desired levels. In this respect, it forces to search for new methods that will improve the classification performance. It is observed that using deep learning techniques has achieved the desirable higher performances. In this thesis, the deep neural networks (DNN) were used to classify the EEG (electroencephalogram) signals to increase classification output.In this study the proposed network models were applied on dataset of the BCI Competition 2008. The database contains inputs obtained from nine subjects. There are five EEG recordings for each subject collected at different times by three electrodes C3,C4 and Cz. During training feedback was used for three records. This informs the subject how accurately he/she performed the task, but in this study, the feedback records have not been used. To describe the experiment, each subject is asked to imagine moving his or her right or left hand in accordance with the direction of the arrow shown on the screen and EEG was recorded on each experiment. Therefore, the EEG features contain information only belonging to two classes.In this study, the effects of channel number on classification performance were investigated. In this context, two methods will be compared: (i) EEG data from 3 channels are filtered by a filter with 5 different frequency bands. In this case, the number of channels increases to 15. EEG data from 15 channels are parsed using the Common Spatial Pattern (CSP) method and the signals at the CSP output are delivered to the deep neural network for classification. (ii) EEG data from 3 channels are directly transmitted to the deep neural network for classification. In general, it is desirable that the number of channels be large in order to classify the EEG data more accurately. However, this makes the system even more complicated. With the new channels that are increased in the study, both classification performance is increased and system complexity is reduced.In this study, the effects of channel number on classification performance were investigated. In this context, two methods will be compared: (i) EEG data from 3 channels are directly employed by deep neural (DNN) for classification. (ii) EEG data from 3 channels are filtered by five bandpass filters. In this case, the number of channels increase to 15. EEG data from 15 channels are extracted to the features using the CSP method and the signals at the output of the CSP are then delivered to the deep neural network for classification. In general, it is desirable that the number of channels be large in order to classify the EEG data more accurately. However, this makes the system even more complicated. But in this study the created extra channels can both reduce complexity and increase classification performance.In this study, generalization of DNN is also examined. BCI systems are often designed depending on the subject. Therefore, there exist 9 different DNN for each subject. But doing so could make disadvantage for CSP to achieve its best performance, even though CSP is known best feature extractor method. This disadvantage overcame by using the DNN with CSP for the whole data together that collected from nine subjects.In this study, EEG data is extracted in MATLAB environment by using prefiltering and CSP method. Then DNN has been used to train the extracted features on the GeForce 2080 Nvidia graphics card and coded by using the Tensorflow library in Python in the Linux environment. In total 80% of the EEG data was used for training set and other 20% is used for the test set. In this thesis, a new BCI method (filter + CSP + deep neural network) has been developed which gives high classification performance.