İnsan bilgisayar etkileşimi uygulamaları için göz merkezinin belirlenmesi ve kafa pozu tahmini

Abstract

Göz merkezinin belirlenmesi ve kafa pozunun tahmini, görüntü temelli insan bilgisayar etkileşimi uygulamaları için önemli bir problemdir. Bu tezde, düşük çözünürlüklü görüntülerden göz merkezi yerini ve baş pozunu tespit eden bir sistem önerilmiştir. Bu sistem kullanıcıya rahatsızlık verebilecek herhangi bir harici donanıma ihtiyaç duymadan, sadece tek kamera ile çalışabilmektedir. Göz merkezlerini belirlemek için, kameradan alınan görüntüye yüz algılama, göz alanı algılama, kaba göz merkezi lokalizasyonu ve hassas göz merkezi lokalizasyonundan oluşan çok aşamalı bir yaklaşım uygulanmaktadır. Tez kapsamında, göz merkezi belirleme çalışmalarında yaygın olarak kullanılan iki farklı yöntemin avantajlarından aynı anda faydalanacak yeni bir amaç fonksiyonu oluşturulmuştur. Kafa pozunun algılanması için kafanın rijit bir silindir olarak dikkate alındığı model tabanlı bir yaklaşım kullanılmıştır. Poz algılama işlemi, yüzdeki belirli öznitelik noktalarının ardışık resimler üzerinde takip edilmesine dayanmaktadır.Göz merkezi tespiti ve kafa pozu tahmini için önerilen yöntemlerin her ikisi de, literatürde yaygın olarak kullanılan veri setleri üzerinde test edilmiştir. Benzer çalışmalar ile yapılan karşılaştırmalar, önerilen yöntemlerin doğruluk, hız ve uygulanabilirlik açısından önde olduğunu göstermektedir. Geliştirilen sistemin gerçek zamanlı çalışması hedeflendiği için veri setleri kullanılarak elde edilen sonuçların yanında, sistemin çalışma performansı gerçek zamanlı olarak da test edilmiştir. Önerilen sistem kullanıcıyı en az seviyede kısıtlamakta, ortam şartlarından en az seviyede etkilenmekte ve düşük çözünürlükteki resimlerde bile doğru ve hızlı sonuçlar üretebilmektedir.

Detection of eye center and estimation of head pose is an important problem for image-based human-computer interaction applications. In this thesis, a system that detects eye center location and head pose from low-resolution images is proposed. The system can be operated with only one camera without any external equipment which may cause discomfort to the user. To determine eye centers, a multi-stage approach consisting of face detection, eye area detection, coarse eye center localization and precise eye center localization to the image taken from the camera is applied. Within the scope of the thesis, a new objective function has been proposed to benefit from the advantages of two different methods which are commonly used in eye center determination studies. A model-based approach is used for the detection of head pose where the head is considered as a rigid cylinder. Pose detection is based on tracking of specific feature points on the face from consecutive images.Both of the proposed methods for eye center detection and head exposure estimation have been tested on data sets commonly used in the literature. Comparisons with similar studies show that the proposed methods are leading in terms of accuracy, speed, and applicability. Since the real-time operation of the developed system is aimed, in addition to the results obtained by using data sets, the operating performance of the system is also tested in real-time. The proposed system minimally restricts the users, is minimally influenced by the ambient conditions and can produce accurate and fast results even in low-resolution images.