Automated detection of viewer engagement by head motion analysis

Abstract

İzleyici ilgi seviyesinin tespiti eğitim ve eğlence alanlarında önemli rol oynar. Bu çalışmada video akışındaki kafa hareketlerini analiz ederek izleyicinin ilgi seviyesi otomatik olarak tespit etmek hedeflenmiştir. Bu uygulama için hâlihazırda bir veri seti olmadığından dolayı kendi veri setimizi oluşturduk. Yüz tespit sistemi kullanarak, videodaki izleyici kişinin video boyunca her bir kare için kafa pozisyonları elde edilmiştir. Elde edilen bu pozisyon verilerinden, kafa hareketleri analiz edilmiş ve bazı nitelikler çıkartılmıştır. Verileri sınıflandırabilmek için Rastgele Orman algoritması ve Destek Vektör Makineleri ayrı ayrı çıkartılan bu nitelikler ile çalıştırılmıştır. Model kullanılarak ilgi seviyesi ölçülmüş ve Rastgele Orman algoritması ile %89.4 doğruluk, %90.9 duyarlılık oranında sonuçlar elde edilmiştir.

Measuring viewer engagement plays a crucial role in education and entertainment. In this study we analyze head motions of the viewers from video streams to automatically determine their engagement level. Due to unavailability of a dataset for such an application, we have built our own dataset. By using face detection system, the head position of viewer is obtained throughout the video for each frame. Then, using these positions, we analyze and extract some features. In order to classify the data, we employ both Random Forest and Support Vector Machine (SVM) with extracted parameters. User engagement detection is performed using the employed model and the results indicate accuracy of 89.4% and recall of 90.9% on our dataset with Random Forest.