Algıya ilişkin kararlardaki öznel güven düzeyinin EEG sinyalleri kullanılarak sınıflandırılması

Abstract

Beyin bilgisayar arayüzü (BBA) araştırmaları insanlar ile makineler arasındaki iletişimi güçlendirmeye çalışmaktadır. Bu çabaya bir katkı sunmak adına karar verme süreçlerine dair zihinsel süreçlerin Elektroansefalogram kayıtları kullanılarak birbirinden otomatik olarak ayrılması amaçlanmıştır. Bu çalışmada oddball deneyi sırasında kaydedilen EEG sinyalleri kullanılmıştır. Deney esnasında kişinin verdiği kararlarla ilgili öznel değerlendirilmesi alınarak, bu değerlendirmeler; doğru-emin (doğru yapılmış ve doğruluğundan emin olunan durumlar), yanlış-emin (yanlış yapılmış ve yanlışlığından emin olunan durumlar) ve emin-değil (doğru ya da yanlış yapıldığından emin olunmayan değerlendirmeler) olmak üzere üç grup altında incelenmiştir. Üç koşulla alakalı EEG kayıtlarına yansıyan olaya ilişkin salınımlar (OİS) ve olaya ilişkin potansiyeller (OİP), tek denemeli (single trial) veride ayrılmaya çalışılmıştır. Farklı zihinsel durumların ayrılmasında kullanılacak öğrenme algoritmalarının uygulanmasından önce EEG verisi 4 farklı öznitelik çıkarma yöntemi ile işlenmiş ve EEG verisi içindeki ayrıştırıcı sinyal bileşenlerinin daha iyi temsilleri elde edilmeye uğraşılmıştır. Sonuç olarak elde edilen dört farklı öznitelik kümesi şunlardır; öz kip fonksiyonlarına ayrıştırılmış sinyalde belli zaman aralıklarında alınan ortalamalar, yine öz kip fonksiyonlarına ayrılmış sinyalin frekans alanına taşınması ile elde edilen öznitelikler, istatistiksel moment temelli öznitelikler ve dalgacık dönüşümü temelli öznitelikler. Makine öğrenmesi algoritması olarak, örnek bir veri kümesinin 6 farklı algoritma ile sınıflandırılması neticesinde en yüksek başarımı sağladığı tespit edildiği için Gauss Destek Vektör Makinesi seçilmiştir. Sınıflandırma başarımını doğru kestirmek amacı ile 10-katlı çapraz doğrulama kullanılmıştır. Sınıflar arası gözlem sayısındaki dengesizliği gidermek için örnek artırma/azaltma ve öğrenme algoritmasının verimli çalışmasını sağlamak amacı ile özniteliklere z-skoru normalizasyonu uygulanmıştır. Eğitim kümesinden elde edilen ortalama ve standart sapma değerleri kullanılarak test kümesi ayrıca normalize edilmiştir. Üç farklı zihinsel (doğru emin, yanlış emin ve emin değil) durum dört farkı kombinasyon için sınıflandırılmış ve bu işlemler uyarana kilitli ve yanıta kilitli veri kümeleri için ayrı ayrı yapılmıştır. Sonuçlar incelendiğinde en yüksek başarımın yanıta kilitli veri kümesinde, dalgacık dönüşümü temelli öznitelikler ile elde edildiği gözlenmiştir. İki sınıflı durumlarda en yüksek başarım %75 ile doğru emin ve yanlış emin durumlarının ayrılmasında, en düşük başarım ise %63 ile yanlış emin ile emin değil durumlarının ayrılmasında elde edilmiştir. Üç sınıflı durum olan doğru emin, yanlış emin ve emin değil verilerinin sınıflandırma başarımı %54 olarak gerçekleşmiştir.

Brain computer interface (BCI) research attempts to strengthen communication between humans and machines. In order to contribute to this effort, it was aimed to separate the mental states of decision-making processes using single trial EEG records. EEG signals recorded during the oddball experiment were used in this study. During the experiment, subjective evaluation of the decision making was obtained and these assessments are; certain-hit (hit trails in which the subject was sure about their response), certain-error (false trails in which the subject was sure about their response), and uncertain (unsure whether correct or wrong). Event-related oscillations (ERO) and event-related potentials (ERP) which were acquired from EEG recordings related to that three conditions were attempted to be separated in single trial data. Before the application of learning algorithms to differentiate mental states, EEG data was processed by 4 different feature extraction methods and a better representation of the distinctive signal components in EEG data was tried to be obtained. The resulting four different sets of features are as follows; Time averages taken at certain time intervals in the signal which was decomposed to intrinsic mode functions (IMF), the features obtained by transferring the IMFs to the frequency domain, statistical moment-based features and wavelet transform based features. Gaussian Support Vector Machine which provided the highest performance on a sample data set classification test within 6 different algorithms was chosen as machine learning algorithm. 10-fold cross-validation was applied to accurately predict classification performance. Oversampling/undersampling processes were applied to eliminate the imbalanced observation numbers among the classes and z-score normalization was applied to the features to ensure that the learning algorithm operated efficiently. The test set was normalized using the mean and standard deviation values attained from the training set. Three different mental states (certain hit, certain false, and uncertain) were classified for four different combinations, and these operations were performed separately for stimulus-locked and response-locked data sets. When the results were analyzed, it was observed that the highest performance was acquired with wavelet transform based features in the response locked data set. The highest performance in two-classed cases was achieved in separation of certain-hit and certain-false states with 75%, and the lowest performance was achieved in the separation of the certain false and uncertain states with 63%. The classification performance of the three-classed case, which is certain hit, certain false, and uncertain was 54%.