Object tracking for surveillance applications using thermal and visible band video data fusion

Abstract

Gözetleme uygulamalarında, insanlar ve taşıdıkları bagajlar gibi nesnelerin videoda ayrı takibi nesnelerin gezingeleri ve birbirleriyle olan etkileşimi gibi yüksek seviye bilgilerin çıkarılması ve olası tehditlerin zamanında tespitine olanak kılması nedeniyle önemli bir yer tutar. Ancak, nesnelerin ayrı takibi zor bir problemdir ve literatürdeki birçok çalışma insanların ve onların eşyalarının tek bir nesne gibi takibini önermektedir. Bu tezde, görünür bant video verisine ek olarak termal bant video verisi kullanılmış ve nesnelerin sınıflandırılması için sıcaklık bilgisinden yararlanılmıştır. Nesnelerin ayrı takibi için nesneleri insan ve taşıdıkları nesneler şeklinde ayıran bir iç alan uygulaması sunulmuştur. Nesne takibi için, ortalama değer kayması takibi tabanlı, uyarlanabilir, tamamen otomatik, çoklu nesne takip sistemi önerilmiştir. Takipçiler, nesnenin boyutunun, şeklinin değişmesi, nesnenin bir başkanesne tarafından önünün kapanması, nesnelerin ayrılması ve sahneden ayrılan nesneler kadar sahneye yeni giren nesnelerin de saptanması gibi durumlarda olabilecek problemleri aşmak için ön plan bilgisi kullanılarak yenilenir. Nesnelerin gezingeleri kullanılarak, eşyaların sahipleri bulunmuş ve terk edilen nesneler tespit edilerek alarm verilmiştir. Tek tarz veri kullanarak gerçekleştirilen uygulamalarla karşılaştırıldığında nesne takibini olumsuz etkileyen termal yansıma ve ?halo? etkisi gibi problemler görülebilir bant veriyi tamamlayıcı olarak kullanarak ortadan kaldırılmış ve daha iyi bir takip performansı elde edilmiştir.

Individual tracking of objects in the video such as people and the luggages they carry is important for surveillance applications as it would enable deduction of higher level information and timely detection of potential threats. However, this is a challenging problem and many studies in the literature track people and the belongings as a single object. In this thesis, we propose using thermal band video data in addition to the visible band video data for tracking people and their belongings separately for indoor applications using their heat signatures. For object tracking step, an adaptive, fully automatic multi object tracking system based on mean-shift tracking method is proposed. Trackers are refreshed using foreground information to overcome possible problems which may occur due to the changes in object?s size, shape and to handle occlusion, split and to detect newly emerging objects as well as objects that leave the scene. By using the trajectories of objects, owners of the objects are found and abandoned objects are detected to generate an alarm. Better tracking performance isalso achieved compared a single modality as the thermal reflection and halo effect which adversely affect tracking are eliminated by the complementing visible band data.