İki serbestlik dereceli hareket kontrolü için zihinsel görev sınıflandırma tabanlı beyin- bilgisayar arayüzü tasarımı

Abstract

Bu tezde, bilgisayar ortamında oluşturulmuş bir nesnenin, alfabenin tersten sayılması,küpün zihinsel olarak döndürülmesi, sağ el hareketini düşünülmesi, sol kol hareketinindüşünülmesi ve matematiksel işlemlerin yapılması ile iki eksen üzerinde, sağ, sol,yukarı ve aşağı yönlerde hareket etmesini sağlayan bir beyin-bilgisayar arayüzütasarlanmış ve bu beyin-bilgisayar arayüzü aracılığı ile gerçek-zamanda, veriliyörüngelerin takibi yapılmıştır.Öncelikle, kullanıcıdan alınan EEG sinyalleri, Emotiv şirketi tarafından üretilen EPOCkulaklığı ile gerçek-zamanlı olarak kaydedilmiştir. Başlık, beynin her ikiyarımküresinde yedişer adet olmak üzere toplam 14 kanal içermektedir. Kaydedilen buveriler Matlab ortamına aktarılıp sırasıyla filtreleme, öznitelik çıkartma, öznitelikindirgeme, öznitelik seçimi, sınıflandırma ve kontrol sinyaline kodlama işlemlerindengeçirilmiştir. Veriler kaydedilirken `Matlab&Simulink` ortamı ile etkileşen bir beyin-bilgisayar arayüzü olan `Simulink EEG Importer` programı kullanılmıştır. Bu sayede,EPOC kulaklığından gelen, gerçek-zamanlı EEG verileri `Matlab&Simulink`simülasyon modeline aktarılabilmektedir. Simulink bloğu, EEG datasını bir vektörformatında almakta ve sonraki sinyal işleme aşamaları için Simulink ortamındatutmaktadır. Örnekleme frekansı 128 Hz.'dir. Ham data, artefakların ve gürültülerinortadan kaldırılabilmesi için, öncelikle 50 Hz.'lik `bant durdurucu` filtreden, sonra da0.5-45 Hz.'lik kesim frekanslarına sahip 6.dereceden `Butterworth bant-geçiren`filtreden geçirilerek filtrelenmiştir.Özniteliklerin çıkartılmasında, 7. seviyede `Daubechies-4` dalgacık fonksiyonu tabanlıdalgacık paketi ayrıştırması ve `Symlet-2` dalgacık fonksiyonu tabanlı dalgacık filtrebankası metotları uygulanmıştır. Çıkartılan özniteliklerin boyutu, temel bileşenleranalizi ile indirgenmiştir. Öznitelik vektörleri, geri yayılım algoritmasını kullanan, çokkatmanlı algılayıcı yapay sinir ağı ile sınıflandırılmıştır.Zihinsel görevler gerçekleştirilirken, her bir zihinsel görev için 0-30 saniye aralığında40 epokluk eğitim datası ve 10 epokluk test datası toplanmıştır. Daha sonra bu veriler1'er saniyelik parçalara bölünerek toplamda 14(sensörkanalı) × [4(görev) ∗40(epok) ∗ 31(saniye)] eğitim veri matrisi ve 14(sensörkanalı) × [4(görev) ∗10(epok) ∗ 31(saniye)] test veri matrisi elde edilmiştir.Yapay sinir ağı için seçilmiş parametreler; 190 nöronlu 1 gizli katman, 0.03'lüköğrenme oranı ve 0.2'lik momentum oranı, performans kriteri `mse` olarak belirlenmiş,eğitim algoritması, `ölçekli paylaşım gradyanı` olarak seçilmiştir.Eğitim seti örneğinin %60'ı eğitim, %20'si doğrulama ve %20'si de test içinkullanılmıştır. Bu sınıflandırma sonucunda, beyin-bilgisayar arayüzü yörünge takibikontrolü için giriş sinyalleri elde edilmiştir. Yörünge takibi kontrol stratejisi, `sağ-sol-yukarı-aşağı` yönlerde hiyerarşik olarak yapılmıştır. Deneysel testler, verilen referans yörüngenin takibini sağlayacak şekilde gerçekleştirilmiştir.Dalgacık filtre bankası öznitelik çıkartma metodu ile gerçekleştirilen sınıflandırmada,en iyi eğitim ve test veri kümeleri için, kapalı-çevrimde %89.6'lık, açık-çevrimde ise%81.5'lik sınıflandırma doğruluğu elde edilmiştir.Doğruluk değerini arttırmak için, parçacık sürü optimizasyonuna dayalı öznitelik seçimiuygulanmıştır. Bunun sonucunda açık-çevrim sınıflandırma doğruluğu %82.94 veKappa değeri 0.776 olarak elde edilmiştir. Beyin-bilgisayar arayüzü yörünge takibineilişkin rekognisyon performansı da 4 zihinsel görev için %81.38 olarak elde edilmiştir.Çoklu zihinsel görev değiştirilmesine dayalı, gerçek-zamanlı yörünge takibine ilişkin`normalize edilmiş hatanın karesinin ortalamasının karekökü` değeri, 0.2818 olarakhesaplanmıştır. Ayrıca, çoklu zihinsel görev değiştirilmesi yolu ile, belirlenen hedeflereulaşılmıştır.

In this thesis, brain-computer interface, which controls the movement of an objectcreated in a software environment in two axis through right, left, up and downdirections via four mental tasks (reciting the alphabet backwards, imagination ofrotation of a cube/motor imagery of right hand movement, motor imagery of left armmovement, performing mathematical operations) has designed and the trajectroytracking in real-time has been performed.Primarily, EEG signals acquired from user was recorded with Emotiv-EPOC neuroheadsetin real-time. The headset consist of 14 electrode channel, which is locatedequally in both of two hemisphere. The recorded data were transfered into the Matlabenvironment and filtering, feature extraction, feature reduction, feature selection,classification, decoding into control signal, processes have been realized, respectively.While recording data, `Simulink EEG Importer` program, which interacts with the`Matlab&Simulink` was used. By the help of this program, EEG data obtained fromEPOC neuro-headset can be directed real-time into the `Matlab&Simulink` simulationmodel. The simulink model receives the EEG data in vector format and holds inSimulink environment for later signal processing. The sampling frequency is 128 Hz.The raw data has been filtered by using a bandstop filter with a 50 Hz. cut-off frequencyand a Butterworth bandpass filter with 0.5-45 Hz. cut-off frequency, in order toeleminate artifacts and noise.In feature extraction process, `Daubechies-4` wavelet function based seventh level`Wavelet Packet Decomposition` and `Symlet-2` wavelet function based seventh level`Wavelet Filter Bank` methods were applied. The dimensions of the extracted featureswere reduced via Principal Component Analysis. The feature vectors have beenclassified by using multilayer percepron neural network with back propagationalgorithm.While performing mental tasks, 40 epoch training data and 10 epoch test data werecollected in 30 seconds for each epoch and mental task. After that, these data split upinto 1 second parts.In total, 14(sensor channel) × [4(task) ∗ 40(epoch) ∗ 31(second)] training and14(sensor channel) × [4(task) ∗ 10(epoch) ∗ 31(second)] test data matrices havebeen obtained.The selected parameters for artificial neural network are; 1 hidden layer with 190neurons, 0.03 learning rate, 0.2 momentum rate, performance measure `mse`, trainingalgorithm, `scaled conjugent gradient`.The training set were divided into 60% for training part, 20% for validation part, 20%for test part. In consequence of this classification, the input signals to control the brain-computer interface were obtained.The trajectory tracking control strategy was done in the `right-left-up-down` directionshierarchically. Experiments have been performend in order to track the given referencetrajectory. Offline and online classification accuracies were obtained with wavelet filterbank method for best training and test data set as 89,6%, 81.5%, respectively.In order to increase the classification accuracy, Particle Swarm Optimization basedfeature selection method was applied.As a result of this process, online classification accuracy and Kappa value wereobtained as 82.94%, 0.776, respectively. The real-time recognition performance for BCIrelated to the trajectory tracking for 4 mental task has been achieved as %81.38.The normalized root mean square error value for the real-time trajectory tracking viaperforming multi task switching, have been evaluated as 0.2818. It has been reached byusing multi-mental task switching to the desired targets.