Thermal and visible band image fusion for abandoned object detection

Abstract

Ortak yaşam alanlarında bırakılan paketler ciddi bir güvenlik problemi olup, zamanında tespit edilmeleri potansiyel tehlikelerden korunmak açısından oldukça önemlidir. Bu alanların güvenliğinden sorumlu olan kamera operatörlerinin sürekli dikkatli olmaları gerekmektedir. Ancak, bu tür ortak alanlari uzun süre dikkatli bir şekilde izlemek operatörler icin oldukça zordur. Bu yüzden, terk edilen paketlerin otomatik bir şekilde tespit edilmesi önemlidir. Literatürde terk edilen nesneleri bulmak icin kullanılan bir çok method önplana yeni giren ve belirli bir süre sabit duran nesneleri bulma amaçlı geliştirilmiştir. Ama, diger sabit duran nesneler, örneğin bir insanın belli bir süre bir bankta oturması, yanlış bir şekilde şüpheli nesne olarak algılanmasına sebebiyet verir. Şüpheli nesnelerin canlı/cansız olarak sınıflandırılması ile, bu tür yanlış alarmlardan korunulabilir. Bu tezde görünür bant kameralarının yanısıra aynı görüş alanına bakan bir termal kamera da kullanan bir sistem önerilmektedir. Bu sistemde görünür bant kamerası ve termal kameradan alınan görüntüler birlikte analiz edilerek canlılar ve cansız nesneler arasındaki ilişkilerin incelenmesi amaçlanmaktadır. Termal kameralardan elde edilecek sıcaklık bilgisi nesnelerin sınıflandırılmasına yardımcı olacaktır. Özellikle, terkedilen nesneler için canlı/cansız ayrımının yapılması amaçlanmaktadır.

Packages that are left unattended in public spaces are a security concern and timely detection of these packages is important for prevention of potential threats. Operators should be always alert to detect abandoned items in crowded environments. However, it is very difficult for operators to stay concentrated for extended periods. Therefore, it is important to aid operators with automatic detection of abandoned items. Most of the methods in the literature define abandoned items as items newly added to the scene and stayed stationary for a predefined time. Hence other stationary objects, such as people sitting on a bench are also detected as suspicious objects resulting in a high number of false alarms. These false alarms could be prevented by discriminating suspicious items as living/nonliving objects. In this thesis, visible band and thermal band cameras are used together to analyze the interactions between humans and other objects. Thermal images help classification of objects using their heat signatures. This way, people and the objects they carry or left behind can be detected separately. Especially, it is aimed to detect abandoned items and discriminate living or nonliving objects.