Cognitive aspects of brain-computer communication: An implementation and extension of the P300 speller paradigm

Abstract

Bu çalışma beyin bilgisayar arayüzlerine(BBA) uyaran tipleri ve aynı zamanda bilişsel faktörlerin etkilerinin BBA ile uygulamaları arasındaki entegrasyonu artırmak amacıyla incelenmesini amaçlar. Çalışmada kullanılan model içerisinde üç farklı tip uyaran bulunmaktadır. Bu uyaran tipleri alfabenin harflerinden, temel ihtiyaçlar için sembollerden, ya da cümle oluşturmak için kelimelerden oluşmaktadır. Teknik olarak, sunulan model öğrenme (sistemin kullanıcıyı tanıması) ve test (sistemin seçilen uyaranı tahmin etmesi) olmak üzere iki kısımdan oluşmaktadır. Öğrenme safhasında kullanıcı alternatif uyaranlar arasından herhangi bir uyarana odaklanır ve sistem P300 uyaran bazlı elektrik potansiyelini algılayarak kullanıcının hangi uyarana odaklandığını tespit eder. Öğrenme safhası herbir kullanıcının sinirsel örüntülerinin anlaşılması için kullanılır. Bu sayede sistem kullanıcı bazlı öğrenme modelleri oluşturur. Öğrenme safhası bittikten sonra, kullanıcı sistemi iletişim amaçlı kullanabilir. Takip eden test safhalarında ise, kullanıcı iki farklı görevi yerini getirir. Bu görevlerden ilki, kelimeler, ikonlar veya harfleri kullanarak daha önceden belirlenmiş hedefleri gerçekleştirmesidir. Bu görevleri gerçekleştirirken istenilen ile seçilen uyaranın farklı olması durumunda tutarsızlık oluşması ve bu durumda N400 olay bazlı potansiyelinin oluşması beklenmektedir. N400 olay bazlı potansiyeli de istatiksel olarak analiz edilir. İkinci olarak, kullanıcının performansı kişinin motivasyonu ve modu bilişsel bilimler açısından değerlendirilir. Sonuçta, kullanıcının o anki motivasyonu deney öncesinde ve herbir uyaran tipi ile ilgili oturum başlamadan önce ölçülecek ve deney sonrasındaki başarı oranıyla ilişkilendirilecektir. Özetle, önerilen tez beyin bilgisayar iletişiminin teknik ve bilişsel yönlerini biraraya getirmeyi hedefler. Farklı uyarı tipleri için tahmin başarı oranındaki analiz sonucu, P300 heceleyicisinin simgelere göre karakter ve kelimeler için daha iyi performans sergilediğini göstermiştir. Bu sonuca ek olarak, tahmin edilen uyaranın gösteriminden bir saniye sonraki olay bazlı potansiyel verisi incelendiğinde istatistiksel olarak anlamlı bir N400 etkisi gözlemlenmemiştir. Son olarak, elde edilen sonuçlar katılımcıların mevcut motivasyonlarının denemeler sırasında belirgin bir rol oynayabileceğini ortaya koymuştur. Tüm sonuçlar literatüre uygun bir şekilde incelenmiştir.

The present thesis aims to contribute to the understanding of the effects of stimulus types and also cognitive aspects on Brain Computer Interfaces(BCIs) to promote the integration between BCIs and applications. In the model of the present thesis, three types of stimuli are presented. The first type are alphabet letters, the second type are symbols for basic needs, and the last type are words for creation of sentences. Technically the present model has two parts, a training phase and a testing (prediction) phase. In the training phase, the user concentrates on one of the stimuli among the entire set of alternative stimuli and the application detects a P300 ERP for that target stimulus which captures the selection of the subject. The training phase is used for understanding the neural patterns of each user and thus, it generates a user-specific training model. After the completion of the training phase, the subject is able to use the application for communication purposes. In the subsequent test phase, the subject carries out two sets of tasks. First, subjects use the three sets of items (letters, icons, and words), and create pre-specified target items, e.g., words (from letters), icon and word sequences. In case of incongruence of the intended and the produced item (by the application), a specific neural ERP signal, N400, is expected, which is statistically analyzed. Second, the cognitive aspects of subjects' performance are investigated with respect to their motivation and mood. Thus, the effect of subjects' current motivation and mood is measured before the experiment and after the trials of each modality and correlated with the success rate of the P300 speller performance. In sum, the proposed thesis aims at combining technical and cognitive aspects of the usage of BCI devices for communication. The analysis on predicting the success rate for the different stimuli types revealed that the P300 speller is performing better for characters and words than icons. Furthermore, The ERP data analysis within the time window of one second after onset of the predicted stimulus showed that there is no statistically significant N400 effect. Furthermore, the obtained results revealed that the current motivation of the participants might have a prominent role during the trials. The results are discussed with respect to the literature.