Göz hareketlerine dayalı aktivite sınıflandırma

Abstract

Bu çalışmada bilgisayar karşısında düşük çözünürlüklü kamera ile kayıt altına alınan kişinin göz hareketlerine bakılarak, belirlenen üç farklı aktivitenin (okuma, bir video izlenme, oyun oynama) farklı sınıflandırma algoritmaları ile tespiti hedeflenmektedir. Çalışmanın temel motivasyonu veri modeli oluşturulamayan hareketlerin, istatistiksel verilerin yardımı ile özellik uzayında temsil edilmesi ve sınıflandırılmasıdır.Bilgisayar karşısında üç farklı aktiviteyi gerçekleştiren deneklerden alınan kayıtların sağ ve sol göz koordinatları çıkarılmış, bu koordinatlardan istatistiksel veriler elde edilmiştir. Elde edilen veriler Bayesian Ağlar, Destek Vektör Makinaları (Support Vector Machine-SVM), k-En Yakın Komşu (K-Nearest Neighbour-k-NN) ve Rastgele Orman (Random Forest) olmak üzere dört farklı denetimli sınıflandırma algoritması ile sınıflandırılmıştır. Algoritmaların performansları çeşitli sınıflandırma ölçütleri kullanılarak test edilmiştir. Elde edilen sonuçlara göre aktivite sınıflandırmasında SVM başarısız olmuş, Bayesian Ağlar ve k-NN algoritmaları iyi sonuçlar verirken en başarılı sonuç Rasgele Orman algoritması ile elde edilmiştir. Sonuçların istatistiksel olarak anlamlı olduğu ikili t-test yöntemi ile de doğrulanmıştır.

This study is a comparative study which provides classifying human activities that are performed in front of the computer. It is aimed to detect activities (reading a textual document, watching a video, playing a computer game) with different classification techniques by using eye movements of a person recorded with the low resolution camera. The main contribution of the study is representing activities that do not have data model in the feature space and classifying these activities through the statistical data.Statistical data are extracted from right and left eye coordinates of persons who perform three specified activities. The classification techniques implemented and compared in this study are; Bayesian Networks, Support Vector Machine, k Nearest Neighbor and Random Forest. Performance comparison of these techniques is provided in terms of different evaluation metrics. According to results, Bayesian and k-NN have good classification rates, while SVM failed to classify activities. The results also indicate that Random Forest has become more successful in classifying activities than other methods. Statistical significances of the results are validated by using a paired t-test.