Kalabalık gözetleme ortamlarında anomali tespiti

Abstract

Kamera güvenlik sistemleri, geniş kullanım alanlarına sahip etkili güvenlik sağlama yöntemlerindendir. Bu sistemlerden elde edilen görüntülerin güvenlik personeli tarafından incelenmesiyle, tehlike içeren durumların belirlenmesi ve gerekli tedbirlerin alınması sağlanmaktadır. Son yıllarda artan teknolojik gelişmelerin kamera maliyetini azaltması, gözetleme sistemlerinin kullanımını arttırarak, büyük miktarda veri elde edilmesine neden olmuştur. Bu verinin insan eli işlenmesi oldukça zahmetli ve zaman alıcıdır. İnsan beyni görsel dikkat modülünün sınırlı bir yapıya sahip olması nedeniyle, insan dikkati belirli süre sonunda büyük düşüş göstermektedir. Bu durum, büyük miktarda verinin insan eli ile analizinde ciddi problemler yaşanmasına sebep olur. Akıllı video gözetim sistemleri, insan gücüne ihtiyacı azaltarak, büyük video verilerinden anlamlı bilginin elde edilmesine yardım etmektedir. Akıllı video gözetim sistemlerinde önemli hedeflerden biri, görüntülerin etkili şekilde değerlendirilerek anormal ve normal durumların birbirinden ayrılması, ilgili operatöre anormal olaylarla ilgili uyarı verilmesidir. Bu sistemlerin tasarlanmasında çeşitli yöntemler kullanılsa da genel yaklaşım, normal olayların modellenmesi ve modele uymayan anormal durumların belirlenmesi şeklindedir. Bahsedilen yaklaşımın tercih edilmesinde, anomali tanımının içeriğe göre değişiklik göstermesi, yani belirli bir sahne için anormal kabul edilen durumların bir başka sahnede normal sayılabilmesi ve anormal durumlara ait eğitim örneği elde edilmesinde yaşanan zorluklar rol oynamaktadır.Bu çalışmada çok parçalı optik akış histogram özniteliği ve logaritmik kovaryans matrisleri tek sınıf sınıflandırma yöntemleri ile otomatik anomali tespitinde kullanılmıştır. Logaritmik kovaryans matrisleri, optik akış tabanlı kinematik öznitelikler ve görünüm öznitelikleri ile birlikte ilk defa anomali tespitinde kullanılmış ve başarılı sonuçlar elde edilmiştir. Hareket temsili için ayrı ayrı gradyan veya optik akış tabanlı özniteliklerden yararlanan geleneksel yöntemlerin aksine, hareket ve görünüm hakkında bilgi sağlayan iki önemli öznitelik türü kovaryans matrisi yardımı ile birleştirilerek kullanılmıştır. Kovaryans matrisleri, Riemannian manifoldunun özel bir türünü oluşturan simetrik pozitif tanımlı matrislerdir ve geleneksel Öklid operasyonları için uygun değildir. Bilindiği üzere bilgisayarlı görü algoritmalarının çoğu Öklid uzayında bulunan veri noktaları için geliştirilmektedir. Bu nedenle elde edilen kovaryans matrisleri logaritmik kovaryans matrislerine dönüştürülerek Öklid uzayına eşlenmiştir.Anormal durum tespitinde ilk aşama olan model oluşturma işlemi, sadece normal olaylardan elde edilen özniteliklerin, tek sınıf sınıflandırma yöntemleriyle (Destek Vektör Makineleri, Destek Vektör Veri Tanımı) kullanılmasıyla yapılmıştır. Bu sayede görülmesi muhtemel olayları temsil eden bir model kurulmuştur. Anomali tespiti ise modele uymayan, farklılık gösteren olayların belirlenmesiyle gerçekleştirilmiştir.Çalışma kapsamında bir anormal davranış veri kümesi üzerinde gerçekleştirilen deneyler ve önceki çalışmalarla yapılan karşılaştırmalar anormal durum tespitinde başarılı sonuçlar elde edildiğini göstermektedir.Anahtar Kelimeler: Anomali tespiti, çok parçalı optik akış histogramı, logaritmik kovaryans matrisleri, kalabalık hareket analizi, tek sınıf sınıflandırma.

Camera survaillance systems are effective security methods with a wide range of uses. Videos obtained from these systems are examined by the security personnel in order to determine the dangerous situations and take the necessary precautions. Increasing technological developments in recent years have led to reductions in the cost of cameras and an increase in the use of surveillance systems and the amount of video data being acquired. Processing these data manually is very hard and time consuming. The visual attention module of the human brain is limited and thus, human attention shows a great decline after a certain period of time. This is the serious problem in manual analysis of large amounts of data. Intelligent video surveillance systems reduce the need for human power and enable to obtain meaningful information from large amount of video data.One of the important purpose of intelligent video surveillance systems is to analyse videos effectively to distinguish between normal and abnormal conditions and to alert the relevant operator about abnormal events. Although various methods are used to design intelligent surveillance systems, general approach is modeling normal events and identifying abnormal situations that do not fit into the model. The reasons for this approach are that the anomaly definition varies according to the content, namely, situations considered abnormal for a particular scene may be considered normal in another scene and the difficulties in finding the abnormal training samples.In this study, multi-scale histogram of optical flow features (MHOF) and log-Euclidean covariance matrices are used in automatic anomaly detection with single class classification methods. Log-Euclidean covariance matrices are used for the first time to detect anomalies. Unlike traditional methods, which utilize gradient-based or optical flow-based features for motion representation, two important types of features that encode motion and appearance cues are combined with the help of covariance matrix. Covariance matrices are symmetric positive definite (SPD) matrices which form a special model of the Riemannian manifold and are not suitable for traditional Euclidean operations. Most of the computer vision algorithms are developed for data points located in Euclidean space. For this reason, covariance matrices are mapped to Euclidean space by utilizing log-Euclidean framework.The model building process, which is the first step in the detection of abnormal situations, is performed by using features obtained from normal events with single class classification methods (Support Vector Machines, Support Vector Data Description). In the detection process, dissimilar events meaning that do not fit the model are marked as abnormal.Experiments carried out on an anomaly detection benchmark dataset and comparisons made with previous studies within the scope of the study show that successful results are obtained in detecting abnormal situations.Keywords: Anomaly detection, multi-scale histogram of optical flow, log-Euclidean covariance matrices, crowd motion analysis, one class classification.