Saliency-based visual tracking using correlation filters for surveillance applications

Abstract

Son yıllarda akıllı ulasım sistemleri görüntü isleme alanında aktif bir arastırma alanı olmustur. Bu çalısmaların temel amaçlarından biri operatörleri yönlendirecek sistemler olusturarak kent trafigini gözetlemede kullanılan yüzlerce kameranın incelenmesinde gereken insan is gücünün azaltılmasıdır. Buradan hareketle, bu tez otonom video gözetleme sistemi olusturmak için gerekli bazal islemler olan hedef tespiti ve takibinin gerçeklestirilmesi amacını gütmektedir. Önerilen sistemin ilk adımını yakın geçmiste ortaya atılan Özuyarlamalı Gauss Karısım Modeli temel alınarak gerçeklenen hareketli objelerin tespiti olusturmaktadır.Elde edilen hareketli obje maskesi morfolojik islemler ile gölge/yansıma arındırma islemlerini içeren ardislemler uygulanarak daha kaliteli hale getirilmistir. Bu islemler sonucu elde edilmis olan ikili imgeden yararlanılarak görüntüde tespit edilmis her hareketli hedef için takip baslatılmakta ve hedef görüntüden çıkana kadar takibin devamlılıgı saglanmaya çalısılmaktadır. Hedefin takibi için önerilen metodoloji, benzesim filtrelerinden temellendirilmis çoklu görsel modelidir. Buna ek olarak takip parametrelerini islem sırasında ayarlamak ve daha karmasık islemlerde ihtiyaç duyulan ekstra bilgileri saglamak amacıyla; hedefin siluetini belirginlik haritalarının zamansal tutarlılıgının kontrolü ile çıkartan bir hedef sınırlama kutusu üretim metodu da önerilmektedir. Önerilen sistem sentetik ve gerçek data ile test edilerek gerçek hayat problemlerinin çözümündeki basarısı da tez kapsamında gösterilmistir.

In recent years intelligent transportation systems (ITS) have been an active research area in computer vision. One of the main goals of ITS is producing systems to guide surveillance operators and reduce human resources for observing hundreds of cameras in urban traffic surveillance. Thus, this thesis is devoted to realization of low level tasks, target detection and tracking, for an autonomous video surveillance system. The initial step of the proposed system is moving object detection which is utilized based on a recently proposed Self Adaptive Gaussian Mixture Model technique. The resulting moving object mask is further enhanced via post processing steps containing morphological operations and shadow/highlight removal. Benefiting from this enhanced binary mask, track initialization is achieved for each detected moving blob entering to the scene and a track is intended to be maintained until the target leaves the scene. For target tracking, multiple model visual tracking methodology is proposed based on correlation filters. Moreover, in order to adjust tracking parameters online and provide high level tasks with extra information together, a target bounding box generation methodology which is capable of target silhouette extraction is proposed based on temporal consistency of the saliency map of tracking window. The proposed algorithm is tested on synthetic as well as real data and based on these experimental results, it can be concluded that it yields competitive tracking results in real life scenarios.