EEG tabanlı çoklu sensör destekli bir insan makine arayüzünün geliştirilmesi

Abstract

İnsanlar, bilgisayar veya makinalarla iletişim kurmak ve onları kullanabilmek için klavye, fare, joystick, dokunmatik ekran gibi çeşitli araçlar kullanmaktadırlar. Bu araçları kullanabilmek için ise kasların kontrol edilmesi gerekmektedir. Çeşitli sebeplerle hareket yetenekleri zayıflamış veya hareket yeteneklerini tamamen kaybetmiş engelli hastaların bu yolla bilgisayar ve makinalarla iletişim kurmaları ve onları kullanabilmeleri mümkün olmamaktadır. Amiyotrofik lateral sklerozis (ALS), beyin kökü travması, beyin ya da omurilik yaralanması, serebral palsi, kas distrofileri ve çoklu skleroz gibi motor nöron problemleri, insanların hareket (motor) yeteneklerini etkilemekte ve kaslarını kullanmalarına engel olmaktadır. O halde, bu tür hastaların makinalarla iletişimini sağlamanın yollarından biri de beyindeki aktiviteyi tespit edip yorumlamaktan geçmektedir. Bu doktora çalışması kapsamında, Elektro-Ensefelo-Gram (EEG) işaretlerinin analizi ile önceden tanımlı kavramsal görevlerin (cognitive taks) gerçek-zamanlı olarak tespit edilebilmesi ve bu belirlenen görevlere bağlı olarak akülü sandalye sisteminin gerçek zamanlı olarak kontrol edilebilmesi amaçlanmıştır. Bu amaçla öncelikli olarak bilgisayar ortamına alınan EEG sinyalleri MATLAB ortamında yapay zeka teknikleri kullanılarak incelenmiş ve sinyalleri analiz edilebilecek modeller oluşturulmuştur. Geliştirilen modeller literatürde bulunan EEG veritabanları üzerinde de denenmiş ve başarılı sonuçlar elde edilmiştir. EEG sinyallerinin yanı sıra sisteme entegre edilen Elektro-Miyogram (EMG) sensörleri yardımıyla sistemin el hareketleri ile kontrolü sağlanmıştır. Sürüş güvenliğinin sağlanabilmesi için sisteme bir Kinect sensörü entegre edilmiştir. Kinect'den alınan derinlik görüntüleri işlenerek bir çarpışma engelleme algoritması geliştirilmiştir. Son olarak bir kamera kullanılarak sistemin göz hareketleri ile kontrolü sağlanmıştır. Geliştirilen sistem farklı kullanıcılar üzerinde hem benzetim ortamında hem de gerçek-zamanlı olarak test edilmiştir. Denekler, geliştirilen sistemi göz hareketleri ve kol hareketleri kullanarak kolaylıkla kontrol edebilmişlerdir. EEG tabanlı kontrolde de başarılı sonuçlar elde edilmiş ve sonuçların kullanıcı bağımlı olduğu gözlenmiştir. Ayrıca çevresel şartların da EEG tabanlı kontrolde başarımı etkilediği gözlenmiştir.

People use a variety of tools such as keyboards, mice, joysticks, touch screens to communicate and use computers or machines. In order to use these tools, one needs to be able to control his/her muscles. For those people with partial or complete disability, it is not possible to communicate and use machines in this way. Motor neuron problems such as amyotrophic lateral sclerosis (ALS), traumatic brain injury, brain or spinal cord injury, cerebral palsy, muscle dystrophy and multiple sclerosis affect people's motor skills and prevent them from using their muscles. Thus, one of the ways in which such patients can communicate with the machines is by interpreting the activity in his head. In this study, it is aimed to analyze the Electro-Encephalo-Gram (EEG) signals in real time to determine predefined cognitive tasks and to control a motorized wheelchair in real time depending on these tasks. For this purpose, EEG signals were processed using artificial intelligence techniques in MATLAB environment and models were developed to analyze the signals. The developed models have also been successfully tested on benchmark EEG databases in the literature. In addition to EEG based control, Electro-Myo-Gram (EMG) sensors integrated into the system have also been utilized to control the system with hand movements. A Kinect sensor was integrated in the system to ensure driving safety. A collision avoidance algorithm has been developed by processing depth images acquired from the Kinect sensor. The developed system also makes it possible to control the wheelchair by eye movements with the help of a camera. The proposed scheme has been tested on different subjects in both simulated environment and real-time. The subjects were able to easily control the developed system using eye and arm movements. Successful results were obtained in the EEG based control however the results were observed to be subject dependent. It has also been observed that environmental conditions affect system performance in EEG based control.