Smoking recognition using smartwatch sensors

Abstract

Teknolojik gelişmeler sayesinde akıllı saat ve akıllı telefonların kullanımı hızla artmaktadır. Bu cihazlar çeşitli hareket sensörleri ile donatılmışlardır ve bu da onları insan aktivitelerini tanıma için etkili kılar. Akıllı saatler el-bilek hareketlerinin ön planda olduğu karmaşık aktiviteleri tespit etmek için kullanılırken, akıllı telefonlar daha basit hareketler içeren aktiveleri tespit etmek için daha uygundur. Buna ek olarak, yalnızca ivmeölçer kullanarak yürüme gibi basit aktiviteler iyi bir performansla tanımlanabilir, ancak yürürken sigara içmek gibi daha karmaşık aktiviteleri tanımlamada ivmeölçere ek olarak jiroskop kullanmak daha iyi sonuç verir. Bu durum, sensör örnekleme oranı, öznitelik seti ve pencere boyu gibi diğer parametreler için de geçerlidir. Dolayısıyla, iyi bir tanıma için farklı aktivitelerin farklı parametre ayarlarının olması gerekir. Ayrıca parametrelerin değiştirilmesi, bu kaynakları sınırlı cihazlarda kaynağın daha fazla ve gereksiz tüketilmesine ya da bunun tersine neden olabilir. Bu çalışmada bizim temel motivasyonumuz, karmaşık ve büyük bir veri seti kullanarak parametrelerin aktivite tanıma sürecine olan etkilerini doğruluk ve kaynak kullanımı açısından incelemektir. Bu amaçla, 11 katılımcıdan 45 saatlik bir veri seti toplandı. Veri seti, dört farklı duruşta (oturarak, ayakta, yürürken ve sohbet ortamında) sigara içme aktiviteleri, sigara içmeye benzer el-bilek hareketleri içeren (oturarak ve ayakta kahve içme ve yemek yeme) aktiviteleri ve bazı basit aktiviteleri (oturma, ayakta durma ve yürüme) içeren toplam on farklı aktivite içermektedir.İlk olarak, 4 farklı pencere boyu, her sensör için ayrı ayrı hesaplanan 63 öznitelik, 4 farklı sensör, 2 farklı sensör kombinasyonu, 3 sınıflandırma algoritması ve 10 farklı aktivite için parametrelerin etkilerini analiz ettik. Bahsedilen parametreleri değiştirerek, veri setinde tanıma performansını en üst seviyede tutmak için en iyi parametre gruplarını bulduk. Buna ek olarak, katılımcıların boylarının tanıma performansına olan etkilerini de inceledik. Sonuçlar sadece zaman-alanlı özniteliklerin daha iyi performansa sahip olduğunu ve basit aktiviteleri tanımlamada sadece ivmeölçer yeterliyken karmaşık aktiviteler için ivmeölçer ve jiroskop birleşiminin daha iyi performans elde ettiğini gösterdi. Tüm aktiviteler dikkate alındığında boyun tanıma performansı üzerinde önemli bir etkiye sahip olmadığını görüldük. Ancak boyları birbirinden belirgin bir şekilde farklı olan katılımcıların sadece ayakta sigara içme aktivitesine boyun etkisi farkedildi.İkinci olarak, parametrelerin ihtiyaca göre seçildiği bağlam farklında bir aktivite tanıma üzerine çalıştık. Aktivitenin türüne göre (basit ya da karmaşık) farklı sensörleri, örnekleme aralıklarını, pencere boylarını ve öznitelikleri kullanan bir dinamik parametre seçimi algoritması önerdik. Kullanıcının basit veya karmaşık bir aktivite gerçekleştirip gerçekleştirmediğini belirleyen bir durum algılama algoritması sayesinde aktivitenin türünün ne olduğu bilgisini algoritmaya verdik. Algoritmanın performansını hem tanıma oranı hem de kaynak tüketimi açısından değerlendirdik. Dinamik parametre seçimi sonuçlarını, statik ve yarı dinamik parametre seçimi sonuçları ile karşılaştırdık. Önce, ilk analizimizde kullandığımız öznitelik gruplarını kullandık, ardından öznitelik seçimi algoritmalarını kullanarak hem öznitelik sayısını azalttığımız hem de en etkili öznitelikleri tespit ettiğimiz yüksek etkili öznitelikleri belirledik. Sonuçlar, hem öznitelik seçiminden önce hem de sonrası için, dinamik parametre seçimi algoritmasının aktiviteye bağlı olarak %2 ile %13 arasında bir performans artışı sağladığını gösterdi. Öznitelik seçiminini uygulamadan önce, dinamik parametre seçimi, statik parametre seçimine kıyasla %33 daha az enerji ve %20 daha az CPU tüketimi sağladı. Ayrıca, seçilen yüksek etkili öznitelikleri dinamik parametre seçimi algoritmasında kullanarak, son iyileştirmeye kıyasla CPU ve enerji tüketiminde %65'lik bir azalma elde ettik.

Thanks to the technological advances, the use of smartwatches and other wearable devices is growing rapidly. They are equipped with various motion sensors and this makes them effective devices for human activity recognition. While smartwatches can be used to detect complex activities where hand-wrist movements play an important role, smartphones are more convenient to detect simpler locomotion activities. Moreover, an accelerometer is mostly sufficient to detect simple activities, such as walking, with good performance but a gyroscope can increase the recognition rate of more complex activities, such as smoking while walking. This also holds for other parameters, such as sensor sampling rate, feature set and window size, meaning that different activities require different settings for good identification. Besides, changing the parameters can cause higher and unnecessary resource consumption or vice versa on these resource limited devices. In this study, our main motivation is to explore the parameter space that may affect the recognition process in terms of accuracy and as well as resource usage on a large and complex dataset. For this purpose, we collected a dataset of 45 hours from 11 participants. The dataset includes ten different activities including smoking activities in four different postures, such as smoking while standing, some other activities which involve similar hand-wrist movements, such as drinking and some other simple activities, such as sitting. Firstly, we analyze the impact of parameters using 4 different window sizes and overlaps, 63 different features extracted from each sensor, 4 different sensors, 2 different sensor combinations, 3 classifiers and 10 different activities. By changing the values of the mentioned parameters, in the datasets, we gather the recognition accuracies and find the best parameter sets to maximize the recognition performance. Additionally, we analyze the impact of participants' height on the recognition performance. The results show that simple time-domain features perform the best and while the combination of accelerometer and gyroscope sensors performs better for complex activities and accelerometer alone is sufficient for simple activities. When we consider the impact of height on the recognition performance, the results show that it does not have a significant effect when all activities are considered, however, it does have an effect on smoking while standing, particularly for participants with a significant height difference than the others.Secondly, we investigate context-aware activity recognition where parameters are selected on demand. We propose a dynamic parameter selection algorithm, which activates different sensors, sampling rates, window sizes and features on demand according to the type of the activity (simple or complex). This algorithm gets the type information from a state detection algorithm which identifies whether the user is performing a simple or a complex activity. We evaluate the performance of the algorithm both in terms of recognition rate and resource consumption and compare with using static and semi-dynamic parameters. We use feature sets of our first analysis, then we determine the high impact features in order to reduce the number of features and choose the most efficient ones, by applying feature selection algorithms. Results show that, both before and after feature selection, the dynamic parameter selection algorithm achieves 2 to 13% better recognition rate depending on the activity. Dynamic parameter selection, before applying feature selection, consumes 33% less energy and 20% less CPU time, compared to using static parameter selection. Additionally, using selected features in the dynamic parameter selection algorithm, we observe a decrease of 65% on the CPU and energy consumption over the last improvement.