A mobile sensing framework for audience emotion analysis

Abstract

Bu tezin amacı, deneysel çalışmalarda akıllı telefonlar yardımıyla mobil algılama kullanılarak izleyicilerden deney süresince veri toplayabilen çok-kipli bir çerçeve geliştirmektir. Günümüzdeki halihazırdaki çözümler geliştirilmesi pahalı ve uygulaması karmaşık olan mobil algılama platformlarına dayanmaktadır. Akıllı telefonlar için ulaştırma ve hava kirliliği gibi faklı alanları hedefleyen mobil algılama platformları geliştirilmiş olsa da bunlar eş zamanlı ve senkronize veri toplamak için tasarlanmamıştır. Mobil algılama tabanlı bir çerçevenin geliştirildiği bu çalışma mobil cihazların kısıtlı kaynaklarını gözönünde bulundurarak, verimlilik ve güvenilirlik problemlerine odaklanmaktadır. Geliştirilen sistem; duygu analizi, etkinlik algılama, insan vücudu izleme ve insan-bilgisayar etkileşimi gibi farklı araştırma alanlarında uygulanabilirliğe sahiptir. Bu alanların yanısıra, yapılan pilot çalışmadan da anlaşılacağı üzere geliştirilen sistem reklam ve içerik değerlendirilmesi gibi endüstriyel problemler için de kullanılabilir. Gelişitirilen sistemin mimarisi klasik sunucu-istemci tasarım paradigmasına dayanmaktadır. Somut uygulaması yapılan bu sistemin yüksek performans verimliliği ve kapsamlı bir erişime vurgu yaptığı performans test sonuçlarımızda gösterilmiştir. Tasarlanan sistem, fiziksel durumları ölçebilen mobil sensörlerin tümünden veri toplamayı sağlaması nedeniyle çok-kiplidir. Performans testleri sistemin güvenirliliğini ve genel kullanım için potansiyelini ispatlamaktadır. 2014 FIFA Dünya Kupası sırasında futbol maçı izlemeye davet edilen izleyiciler ile yapılan deneme çalışmaları, geliştirilen sistemin gerçek hayat problemleri için uygulanabilir olduğunu göstermiştir. Yapılan ön analizler, elde edilen verilerin sistemin çalışmasının amaçlandığı alanlarda kullanılma potansiyelini ortaya koymuştur.

The main objective of this thesis is to develop a multi-modal framework which facilitates simple data collection using mobile sensing on smartphones from an audience, for the duration of an experimental study. Current solutions primarily rely on custom mobile sensing platforms which are expensive to develop and complicated to apply. While there are a number of mobile sensing platforms developed for smartphones targeting different domains, such as transportation and air pollution they are not designed to be used for simultaneous and synchronized data collection. The mobile sensing framework introduced in this study is focused primarily on addressing efficiency and reliability issues considering the limited resources of smartphone devices. The applicability of the framework spans cross research domains such as: emotion analysis, activity sensing, human body monitoring, and user-computer interaction. Moreover, as demonstrated in our pilot study, the introduced framework can find practical usage in industries such as advertisement and content evaluation. The applied design solution was based on the classical server-client architecture paradigm and the concrete implementation of the framework expresses high performance efficiency and comprehensive reach affirmed by our performance tests. The pilot study organized during FIFA World Cup 2014, where an audience of people was invited to watch two football matches, demonstrated the validity of our framework for real-life studies. Preliminary analysis exposes the potential of the acquired sensor data in targeted domains.