Incorporation of a language model into a brain computer interface based speller

Abstract

Beyin-Bilgisayar Arayüzü (BBA) araştırmaları, beyin ve dış aygıtlar arasında doğrudan iletişim kanalı kurma sorunu ile ilgilenmektedir. Buradaki birincil motivasyon, sınırlı derece kas kontrolüne sahip olan veya hiç sahip olmayan hastaların elektroensefalografi (EEG) gibi yöntemlerle beyin elektriksel aktivitelerini ölçerek otomatik olarak niyetlerini yorumlayıp onların dış aygıtlar kullanmasına olanak sağlamaktır. Yaygın olarak üzerinde uygulamaların gerçekleştirildiği BBA düzeneklerinden birisi olan P300 heceleticisi, kullanıcıların öngörülemeyen uyaranlara karşı beyinlerinde cevap olarak oluşan ve P300 diye bilinen sinyallere dayalı bir şekilde harf yazmalarını içerir. EEG sinyallerinin düşük sinyalgürültü oranı ve çeşitliliği nedeniyle, mevcut heceleme sistemleri, hız pahasına başarım değerini arttırmak için fazla sayıda uyaran tekrarlamasını kullanmaktadır. Bu tezdeki çalışmaya motivasyon sağlayan temel gözlem, belirli bir dildeki kelimeler içinde yer alan komşu ve mevcut harfler tarafından sağlanan önsel bilginin, aynı anda daha yüksek başarım ve hız değerlerinin sağlandıgı bir sistemin geliştirilmesinde yardımcı olabileceğidir. Bu gözleme dayanarak, mevcut tez çalısmasında, bir dil modeli tarafından eğitilmiş Saklı Markov Modeli (SMM) yapısı aracılığıyla BBA tabanlı heceleticinin içine bu önsel bilgilerin dahil edildiği bir yaklaşım sunuyoruz. Böyle bir model üzerinde çıkarsama yapmak için n-gram dil modeliyle bağlantılı olarak kullandığımız filtreleme ve yumuşatma algoritmalarını tanımlıyoruz. Çevrimdışı ve çevrimiçi karar verme üzerine tasarladığımız veri toplama deneyleri, dil modelinin bu şekilde karar sürecine dahil edilmesinin harf tahmini doğruluğunda ve heceleme hızında önemli iyilestirmelere yol açtıgını gösteriyor.

Brain computer interface (BCI) research deals with the problem of establishing direct communication pathways between the brain and external devices. The primary motivation is to enable patients with limited or no muscular control to use external devices by automatically interpreting their intent based on brain electrical activity, measured by, e.g., electroencephalography (EEG). The P300 speller is a widely practised BCI set up that involves having subjects type letters based on P300 signals generated by their brains in response to visual stimuli. Because of the low signal-to-noise ratio (SNR) and variability of EEG signals, existing typing systems use many repetitions of the visual stimuli in order to increase accuracy at the cost of speed. The main motivation for the work in this thesis comes from the observation that the prior information provided by both neighbouring and current letters within words in a particular language can assist letter estimation with the aim of developing a system that achieves higher accuracy and speed simultaneously. Based on this observation, in this thesis, we present an approach for incorporation of such information into a BCI-based speller through Hidden Markov Models (HMM) trained by a language model. We then describe filtering and smoothing algorithms in conjunction with n-gram language models for inference over such a model. We have designed data collection experiments for offline and online decision-making which demonstrate that incorporation of the language model in this manner results in significant improvements in letter estimation and typing speed.