Anomaly detection using sparse features and spatio-temporal hidden Markov model for pedestrian zone video surveillance

Abstract

Halka açık alanların güvenliği için gözetim araçlarının kullanımıyla kalabalık davranışının otomatik analizi önem kazanmıştır. Halka açık alanlarda insan yoğunluğu değişiklik göstermektedir. Bu yüzden ilgili algoritmaların hem düşük hem de yüksek yoğunluklu kalabalıklarda birden düzgün çalışması gerekmektedir. Temelde, kalabalık davranışını inceleyen iki metot mevcuttur: Objelerin takibini temel alan ve kalabalıktaki bireyleri tek tek takip eden yöntemler ve kalabalığı bir bütün olarak analiz eden tümcül yöntemler. Bu çalışmada amaç yaya bölgelerine ait videolardaki aykırılıkların tümcül bir yaklaşım kullanılarak tespitidir. Yaya bölgelerine ait videolar, insan yoğunluğuna göre otomatik olarak gruplanarak analiz edilir. Yaya hareketi bireylerin tespit ve takibi yapılmaksızın, `Oriented Fast and Rotated Brief (ORB)` öznitelik tespit edicisi kullanılarak bulunmuş özniteliklerle modellenmiştir ve bu sayede gizlilik koruyucu özelliğe sahiptir. Bu öznitelikler, daha sonra `Binary Robust Independent Elementary Features (BRIEF)` öznitelik tanımlayıcısı kullanılarak temsil edilmiş ve aykırılık tespiti için uzay-zamansal Gizli Markov Modeli kullanılmıştır.

Automated analysis of crowd behavior for anomaly detection has become an important issue to ensure the safety and security of the public spaces. Public spaces have varying people density and as such, algorithms are required to work robustly in low to high density crowds. Mainly, there are two different approaches for analyzing the crowd behavior: methods based on object tracking where individuals in a crowd are tracked and holistic methods where the crowd is analyzed as a whole. In this work, the aim is to detect anomalies in pedestrian zone videos using a holistic approach. The pedestrian zone videos are automatically grouped according to crowd density. The pedestrian motion is modeled as a whole without detecting and tracking the individuals using the features obtained Oriented Fast and Rotated Brief (ORB) feature detector and thus the model is privacy preserving. These features are then represented using Binary Robust Independent Elementary Features (BRIEF) descriptor and a spatiotemporal Hidden Markov Model is used for anomaly detection.