Person detection and tracking using omnidirectional cameras, and rectangle blanket problem

Abstract

Otonom makinelerle kaza önlenmesi, verimlilik için ortamların iyileştirilmesi ve yaşlılara destek verilmesi için gerekli analizi insan tespiti ve takibi sağlayabilir. Tümyönlü kameralar geniş görüş alanları sayesinde, çözünürlükten feda ederek, daha fazla bir alanı kapsar. Tümyönlü kamera kullanımı gerekli kamera sayısını ve bant genişliğini düşürerek kurulum, işletme ve hesaplama maliyetlerini düşürebilir. Fakat, geleneksel kameralar için geliştirilmiş yapay görü yöntemleri, görüntünün oluşum geometrisi farklı olduğu için genellikle tümyönlü kameralarda başarısız olur. Bu tezde, ilkin, insan takibi için özgün bir veri kümesi, BOMNI, tanıtılmaktadır. BOMNI, insanların bir odanın içinde hareket ettiği 46 video içerir. İnsanların sınırlayıcı kutuları ve kimlikleri her karede işaretlenmiştir. İkinci olarak, insan takibi ve düşme tespitini bağlayan bir üretimsel Bayesian model sunulur. BOMNI veri kümesi üzerinde değerlendirilen bu yöntem, %93 takip isabetliliği ve çoğunlukla bir kaç kare içerisinde düşme tespiti başarımı elde etmiştir. Üçüncü olarak, benzer bir yöntem birden fazla insan takibi için geliştirilmiş ve BOMNI veri kümesi üzerinde değerlendirilmiştir. Geçmiş yönteme kıyasla bu yöntem %18 artış sağlayarak %86 takip isabetliliği elde etmiştir. Dördüncü olarak, insan tespiti için ayrımcı bir yöntem önerilmiştir. Ayrıca, öznitelik çıkarımını hızlandırmak için özgün bir yapı, Dairesel İntegral Görüntüsü, sunulmuştur. Bu yöntem IYTE veri kümesi üzerinde bilinen en yüksek insan tespiti başarımını elde etmiştir: görüntü başına bir yanlış pozitif için %4.5 ıska oranı. Son olarak, bir şekli birden fazla dikdörtgen ile ifade etme problemi, Dikdörtgen Battaniyesi Problemi, bir tamsayı programlama problemi olarak formüle edilmiş ve en iyi çözümü bulan bir dallan-ve-sınırla yaklaşımı ve yeni bir dallanma kuralı önerilmiştir. Bu problem ile tezin önceki bölümlerinde karşılaşılmıştır fakat literatürde varolan daha genel bir problemdir.

Person detection and tracking can provide the crucial analysis needed to avoid accidents with autonomous machinery, optimize environments for efficiency and assist the elderly.Omnidirectional cameras have a large field of view that allow them to cover more ground at the expense of resolution.Omnidirectional cameras can decrease setup, maintenance and computational costs by reducing the number of cameras and the bandwidth required. Computer vision methods developed for conventional cameras usually fail for omnidirectional cameras due to their different image formation geometry. In this thesis, first, a novel dataset for person tracking in omnidirectional cameras is introduced. The dataset, namely BOMNI, contains 46 videos of persons moving inside a room; where the bounding boxes and the identity of the persons are annotated at every frame. Second, a generative Bayesian framework is developed for coupling person tracking and fall detection. The method is evaluated on BOMNI dataset, producing 93% tracking accuracy and fall detection within a few frames of the event. Third, a similar method for multiple person tracking is developed and evaluated on BOMNI dataset. The method reaches 86% tracking accuracy, increasing a previous approach by 18%. Fourth, a discriminative method for person detection is presented. Also a novel structure called Radial Integral Image that speeds up feature extraction step is introduced. This method achieves state of the art detection performance on IYTE dataset: 4.5% miss rate for one false positive per image. Finally, the problem of representing a shape with multiple rectangles, Rectangle Blanket Problem, is formulated as an integer programming problem and a branch-and-bound scheme is presented along with a novel branching rule to solve it optimally. This problem is encountered in the earlier sections of this thesis, but it is a general problem that is present in the literature.