Developing object detection, tracking and ımage mosaicing algorithms for visual surveillance

Abstract

Son yıllarda kameraların ucuzlamasıyla görsel gözetleme sistemlerinin önemi gitgide artmaktadır. Bilimsel, ticari ve son kullanıcı uygulamalarında yaygın olarak kullanılan bu sistemler yoğun miktarda bilgiyi depolayabilir, ayıklayabilir, ve bu bilgileri bir insanın yardımı olmadan yeni bilgi çıkarımında kullanabilir. Bu tezde, bir görsel gözetim sistemi kapsamında kullanılabilecek obje tespit, takip ve görüntü mozaikleme algoritmalarının geliştirilmesine yoğunlaşılmıştır. İlk olarak gerçek zamanlı çalışabilen, hareket ipuçlarını kullanan obje tespit algoritmaları incelenmiş ve dinamik sahnelerde de çalışabilecek bir obje tespit algoritması geliştirilmiştir. Adı geçen algoritma, nonparametrik olasılıksal bir model aracılığı ile piksel komşuluklarını kullanarak görüntüdeki önplan bölgelerini ufak kamera hareketleri altında tespit edebilmektedir. Bundan sonra, önerilen obje tespiti algoritmasını bir önadım olarak kullanan bir çoklu obje takibi yöntemi geliştirilmiştir. Algoritma çoklu obje etkileşimlerini olasılıksal bir çerçevede inceleyerek, sanal kabuklar ile yoğun örtmeye sahip durumlarda objeleri takip etmektedir. Tezin son bölümünde ise sıralı görüntüleri dikerek daha geniş ve görsel olarak etkileyici bir mozaik oluşturan bir görüntü mozaikleme algoritması önerilmiştir. Önerilen yöntem lineer olmayan eniyileme tekniklerini devre dışı bırakarak, geniş görüntü kümeleri için dahi gerçek-zamanlı çalışabilmektedir. Deney sonuçları göstermektedir ki, önerilen algoritmalar gerçek zamanlı olarak dinamik ve kalabalık ortamlarda başarıyla çalışmaktadır.

Visual surveillance systems are becoming increasingly important in the last decades due to proliferation of cameras. These systems have been widely used in scientic, commercial and end-user applications where they can store, extract and infer huge amount of information automatically without human help. In this thesis, we focus on developing object detection, tracking and image mosaicing algorithms for a visual surveillance system. First, we review some real-time object detection algorithms that exploit motion cue and enhance one of them that is suitable for use in dynamic scenes. This algorithm adopts a nonparametric probabilistic model over the whole image and exploits pixel adjacencies to detect foreground regions under even small baseline motion. Then we develop a multiple object tracking algorithm which utilizes this algorithm as its detection step. The algorithm analyzes multiple object interactions in a probabilistic framework using virtual shells to track objects in case of severe occlusions. The nal part of the thesis is devoted to an image mosaicing algorithm that stitches ordered images to create a large and visually attractive mosaic for large sequence of images. The proposed mosaicing method eliminates nonlinear optimization techniques with the capability of real-time operation on large datasets. Experimental results show that developed algorithms work quite successfully in dynamic and cluttered environments with real-time performance.