Video görüntülerine dayalı nöropsikolojik testler için pupil (göz bebeği) hareketleri izleme sistemi

Abstract

Video görüntülerinden gözün nereye baktığı bilgisinin çıkartıldığı göz izleme sistemleri, bilgisayarlı görü uygulamalarında giderek yaygınlaşmaktadır. Gözün nereye baktığı bilgisi (x, y koordinatları ve göz bebeğinin yarıçapı) nöropsikolojik bozuklukların teşhisi, bilişsel dilbilim çalışmaları, reklamların etkinlik analizi ve insan bilgisayar etkileşimi gibi geniş bir alanda yaygın olarak kullanılabilmektedir. Bu tezde, nöropsikolojik testler için kullanılması planlanan bir göz izleme sistemi gerçekleştirilmesi amaçlanmaktadır. Ayrıca nöropsikolojik testler de tez kapsamında gerçekleştirilecektir.Video görüntülerinden pupilin (göz bebeği) pozisyon (x, y) ve yarıçap (r) bilgilerinin çıkartılması için Aktif Kontur Yılan modeli ile elips bulma algoritması önerilmiştir. Ayrıca Aktif Kontur Yılan modeli ve elips bulma algoritması ile bu alanda yaygın olarak kullanılan diğer algoritmalar (Integro Diferansiyel Operatör ve Hough Dönüşümü) arasındaki kapsamlı karşılaştırmalar da sunulmuştur. Pupilin yerinin tam olarak bulunması ve pupilin yarıçapının net olarak ölçülmesi konularında, deneysel sonuçlar Aktif Kontur Yılan yönteminin diğer yöntemlerden (Integro Diferansiyel Operatör ve Hough Dönüşümü) daha iyi performansa sahip olduğunu göstermiştir. Bu nedenle nöropsikolojik testler için kullanılması planlanan göz izleme sistemi, Aktif Kontur Yılan modeli ile elips bulma algoritması kullanılarak gerçekleştirilmiştir.Bu tezde gerçekleştirilen nöropsikolojik testler bipolar bozukluğu olan grup ve kontrol grubu olmak üzere iki farklı gruba uygulanmıştır. Göz izleme sistemi ve nöropsikolojik testler eş ve gerçek zamanlı olarak çalışmaktadır. Seçilen bazı kelimeler kişilere bilgisayar ekranında gösterilerek nöropsikolojik testler gerçekleştirilmiştir. Kişiler bu kelimeleri okurken, göz izleme sistemi ile aynı anda gözün ekranda baktığı yerin koordinatları ve bu kelimelere ne kadar süreyle baktıkları belirlenmektedir. Testlerden alınan bu veriler, bipolar bozukluğu olan grup ve kontrol grubunu ayrı ayrı sınıflandırmak amacıyla Destek Vektör Makinelerini (DVM) eğitmek için kullanılmıştır.Testlerin analiz edilmesiyle bipolar bozukluğu olan grubun toplam kelimeleri okuma sürelerinin kontrol grubundan daha uzun olduğu gözlemlenmiştir. Ayrıca, bipolar bozukluğu olan kişiler genellikle kelimelerin köküne ve ekine kontrol grubundaki kişilerin baktıklarından daha çok bakmaktadırlar.Literatürde, bu tez kapsamındaki çalışmalar derinden araştırılmamıştır. Bu nedenle, bu özgün çalışmanın psikoloji ve nöropsikoloji alanında yapılacak araştırmalara yol göstereceği düşünülmektedir.

Eye tracking systems, which extract the knowledge of where the eye looks at in video sequences, have become increasingly popular in computer vision applications. The knowledge of where the eye looks at (x,y coodinates and radius of pupil) can be used in a wide spectrum of areas such as diagnosis of neuropsychological disorders, studying cognitive linguistics, analysing of effectiveness at advertisements and human computer interaction. The main aim of this thesis is to perform the eye tracking system which can be used in neuro psych tests. Morever, neuro psych tests will be conducted in the scope of this thesis.An Active Contour Snake model with ellipse fitting algorithm is proposed to extract the position (x,y) and radius (r) information of pupils in video sequences. It is also presented a comprehensive comparison between an Active Contour Snake model and ellipse fitting algorithm with other algorithms (Integro Differential Operator and Hough Transformation) which are frequently used in this field of study. Experimental results show that the Active Contour Snake method has superior performance than other methods (Integro Differential Operator and Hough transformation) in terms of precise localization of pupils and accurate measurement of pupil radius. So, eye tracking system which can be planned to use in neuro psych tests is actualized with using an Active Contour Snake model with ellipse fitting algorithm.The neuro psych tests of this thesis are applied to two different groups namely; bipolar disorder group and control group. The eye tracking system and neuro psych tests work simultaneously and in real time. In order to conduct the neuro psych tests, some selected words are shown to the people using a computer screen. While they are reading these words, the eye tracking system is used to determine the coordinates of the screen where the eye looks at and how long it looks at to these words at the same time. These data acquired from these tests are used for training Support Vector Machines (SVM) for classifing the bipolar disorder and control groups separately.It is observed from analysis of these tests that the total words reading time of the bipolar disorder group is longer than that of the control group. Morever, the bipolar disorder people generally look at to roots and suffix of the words more than the control group people do.This research work covered in this thesis has not been deeply studied in the literature. Therefore, it is expected that this unique work will lead up to further research studies in the field of psychology and neuro psychology.