A multimodal sensor analysis framework for vehicular mobile applications

Abstract

Akıllı telefonların gelişmiş algılama, hesaplama ve iletişim yetenekleri araçlarda kalite, güvenlik, konfor, ekonomi ve diğer yetenekleri arttıran faydalı uygulamalar geliştirme imkânı doğurmaktadır. Ancak çoklu sensör analizi uygulamaları geliştirmek için algılayıcı değerlerini doğru okuma, çeşitli kütüphaneleri bütünleştirme ve elde edilen sonuçları paylaşma gibi birçok zorluk da bulunmaktadır. Bu çalışma bahsi geçen zorluklara odaklanmakta ve araç içi akıllı uygulamaların kolay, hızlı ve esnek gerçekleştirimini sağlayacak bir altyapı oluşturmayı hedeflemektedir. Amaç; gerçek zamanlı algılama, sinyal ve çoklu-ortam işleme ve bilgi paylaşma yeteneklerini sağlamaktır. Bu sebeple önerilen altyapı sensör değerlerine hızlı erişim için bir soyutlama sağlamakta, ayrıca sinyal ve görüntü işleme için çeşitli bütünleştirilmiş kütüphaneler sunmakta ve bilgi paylaşımı için oluşturulmuş mekanizmalar altyapı ile birlikte sunulmaktadır.Bu çalışma kapsamında, geliştirilen altyapının yeteneklerini ve uygulanabilirliğini göstermek amacıyla örnek bir mobil uygulama da geliştirilmiştir. Bu uygulama akıllı telefonların farklı algılayıcılarını (örn. GPS, ivmeölçer, manyetometre, kamera) gerçek zamanlı olarak ölçüp analiz eden ve yoldaki engelleri, yol yüzeyinin düzensizliklerini (örn. çukur, kasis) tespit eden çok-sensörlü bir analizördür. Öncelikle düzensizliğin tespiti bir kipte mobil cihazın ivmeölçer algılayıcısı kullanılarak aracın hareketi analiz edilerek gerçekleştirilmekte, ikinci bir analiz ile de kameranın kayıtları kullanılarak yolun bozuk olan kısmına ait video kesiti ve fotoğraf otomatik olarak çıkarılmaktadır. Bir tehlike tespit edildiğinde sistem olası kazaları veya istenmeyen olayları engellemeye yönelik olarak coğrafi konumu yakın olan diğer sürücüleri olaya ait detaylı bilgi ve fotoğraf ile uyarabilmektedir.Geliştirilen mobil uygulama belirlenen bir alandaki bir test senaryosu kapsamında birçok cihaz üzerine kurulmuş ve doğrulama kapsamında test senaryonun sonuçları ölçülmüş ve değerlendirilmiştir..Anahtar kelimeler: çok-sensörlü analiz, mobil CBS uygulamaları, yaygın bilişim, araç içi mobil uygulama, mobil çoklu-ortam.

The sensing, computing and communicating capabilities of smart phones bring new possibilities for creating remarkable applications increasing the quality, safety, comfort, economy and other capabilities of cars. However, many challenges exist regarding the development of multimodal sensor analysis applications, such as proper collection of sensor values, integration of diverse libraries and tools for sharing the results. This study focuses on these challenges and aims to construct a framework that enables easy, fast and flexible implementations of smart vehicular applications. The goal is to provide capabilities for real-time sensing, signal and multimedia processing, and sharing of information. Hence, the proposed framework provides an abstraction for easy access to sensor readings, and also diverse signal and image processing libraries are integrated and mechanisms are developed and provided with the framework for information sharing. A sample mobile application is also developed in the scope of this study, in order to demonstrate the capabilities and the feasibility of the developed framework. This application is a multimodal sensor analyzer which intends to detect obstacles on the road or critical road surface anomalies (i.e. pothole, speed bump) by measuring and analyzing different sensors of smart phones (GPS, accelerometer, magnetometer and camera) in real-time. First, the detection is performed on one modality by analyzing the motion of the vehicle using the accelerometer sensor and then a second analysis is performed using the camera images to automatically extract the video section and the image of the corresponding road segment containing the defect. Upon such critical hazard detection, the application instantly informs nearby users about the incident with detailed information and image of the scene. The developed mobile application is deployed on multiple devices as part of a test scenario in a chosen location and the outcomes of the test scenario are measured and evaluated as part of the validation.Keywords: multimodal sensor analysis, mobile GIS applications, pervasive computing, vehicular mobile application, mobile multimedia