Fusion of pupil dilation and facial temperature features for detection of stress

Abstract

Stres, günümüzde insanlığın önemli sorunlarından birisi olarak karşımıza çıkmakta olup stresin hayatımıza etki eden birçok negatif fizyolojik/fiziksel etkileri bulunmaktadır. Stres ile fizyolojik ya da fiziksel sinyaller arasındaki ilişki, günlük aktiviteler sırasında stresi fark etmenin öneminden dolayı uzun zamandır irdelenmektedir. Bu tezin amacı gözbebeği çapı ve yüzdeki sıcaklık verisinin analiziyle stresi uzaktan tespit etmektir. Bu amaçla, fizyolojik/fiziksel etki oluşturmak için stresi tetikleyen ve arka arkaya uygulanan iki bölümden oluşan bir deney geliştirdik. Birinci bölüm, nötr duygu temeli oluşturmak için kullanılmış olup, nötr Uluslararası Duyuşsal Resim Sistemi (IAPS) resimleri içermektedir. İkinci bölümde ise, stres oluşturmak için, negatif IAPS resimleri kullanılmıştır. Katılımcıların duygusal durumunu tespit etmek amacıyla, gözbebeği ve yüz termal tepkileri TOBII TX300 gözbebeği tarayıcısı ve FLIR SC620 termal kamera kullanılarak ölçülmüştür. Bu çalışmada, göz bebeği ve termal verinin fizyolojik artış ve azalışındaki zaman farkını birbirine uyumlu hale getirmek için kayan pencere içerisinde entropi yöntemi kullanılmıştır. Sinyal ve entropi değerlerinden elde edilen termal ve gözbebeği özniteliklerinin, öznitelik seviyesinde füzyon edilmesi sağlanmıştır. Stres sınıflandırmasının doğruluğu makine öğrenme teknikleri ile iyileştirilmiştir. Bu çalışmada, AdaBoost ve Bagging sınıflandırma yöntemleri kullanılarak 83.8% doğrulukla katılımcıların stres tepkileri tespit edilmiştir. Araştırma sonuçları, gözbebeği çapını ve yüz sıcaklığını kullanmaya dayalı önerilen deneysel protokolün stresin tespiti için son derece uygulanabilir olduğunu göstermektedir.

Stress has several negative physiological/physical impacts in our lives. Hence, it is important to recognize stress during daily activities. The relationship between stress and physiological or physical signals has been studied for a long time. The aim of this dissertation is to detect stress remotely using pupil diameter and facial temperature analysis. For this purpose, we developed a stress triggering experiment in order to generate physiological/physical effects. Our experiment consists of 2 parts which are applied consecutively. The first part was used as a baseline for neutral emotion, in which neutral pictures of International Affective Picture System (IAPS) were utilized. In the second part, to generate stress, negative pictures of IAPS were used.To detect emotional state of the participants, pupillary and facial thermal responses were measured using a TOBII TX300 eye tracker and a FLIR SC620 thermal camera. Entropy in a sliding window was used to accommodate the time differences in the physiological rise and fall profiles of pupil and thermal data. Pupil and thermal features derived from the measured signals and the entropy based values were fused at the feature level. Finally, classification accuracy of stress was enhanced with machine learning techniques. We were able to identify stressful responses from the participants with an accuracy of 83.8% using AdaBoost and Bagging classification methods. Results also show that the experimental protocol we suggested for stress detection is highly applicable based on pupil diameter and facial temperature.