Object tracking system with seamless object handover between stationary and moving camera modes

Abstract

Güvenlik kameraları ve kamera içeren hareketli platformların sayıları arttıkça, bu sistemlerde otomatik nesne tespit ve takibinin önemi de artmaktadır. Sabit ve hareketli kameralar için birçok takip sistemi tasarlanmıştır. Sabit kameralar için, arka plan çıkarımıyla beraber eşleştirmeye dayalı takip yöntemlerinin bir nesnenin bir sahneye giriş ve çıkışını tespit etmek gibi avantajları vardır. Bu sistemler kamera sabitken nesneleri gürbüz biçimde takip etmeye de olanak sağlarken kamera hareket etmeye başladığında nesne takibinde başarısızdırlar. Diğer taraftan, ortalama kayma gibi histograma dayalı yöntemler hareketli kamerada nesne takibine olanak sağlar. Fakat, ortalama kayma ile nesnenin giriş ve çıkışları otomatik olarak tespit edilemez ve bu nesnenin elle ilklendirilmesi gerektiği anlamına gelir.Bu tezde, eşleştirmeye dayalı takip yöntemi ile ortalama kaymayı birleştiren çift kipli nesne takip sistemi önerilmektedir. Her bir çerçeve için arka plan güncelleme oranına dayalı bir güvenilirlik ölçüsü hesaplanır. Orta çeyrekler aralığı bu ölçü üzerindeki aykırı elemanları bulmak için ve kamera hareketini tespit etmek için kullanılır. Eğer kamera sabitse, eşleştirmeye dayalı takip yöntemi kullanılır, kamera hareketliyken sistem ortalama kayma moduna geçip eşleştirmeye dayalı takip yönteminin güvenilirliği güvenilirlik ölçüsüne gore yeterli olana kadar devam eder.Sonuçlara göre, durağan kamera kipinde yeni nesneler arka plan çıkarımıyla beraber eşleştirmeye dayalı takip yöntemiyle tespit edilebilmektedir. Kamera hareket ettiğinde eşleştirmeye dayalı takip yönteminden yanlış karakter kutularının oluşturulması ortalama kayma moduna geçip doğru karakter kutuları kesintisiz bir işlemle devredilir ve sürekli takip sağlanır.

As the number of surveillance cameras and mobile platforms with cameras increases, automated detection and tracking of objects on these systems gain importance. There are various tracking methods designed for stationary or moving cameras. For stationary cameras, correspondence based tracking methods along with background subtraction have various advantages such as enabling detection of object entry and exit in a scene. They also provide robust tracking when the camera is static. However, they fail when the camera is moving. Conversely, histogram based methods such as mean shift enables object tracking on moving camera cases.Though, with mean shift object?s entry and exit cannot be detected automatically which means a new object?s manual initialization is required.In this thesis, we propose a dual-mode object tracking system which combines the benefits of correspondence based tracking and mean shift tracking. For each frame, a reliability measure based on background update rate is calculated. Interquartile Range is used for finding outliers on this measure and camera movement is detected. If the camera is stationary, correspondence based tracking is used and when camera is moving, the system switches to the mean shift tracking mode until the reliability of correspondence based tracking is sufficient according to the reliability measure.The results demonstrate that, in stationary camera mode, new objects can be detected automatically by correspondence based tracking along with background subtraction. When the camera starts to move, generation of false objects by correspondence based tracking is prevented by switching to mean shift tracking mode and handing over the correct bounding boxes with a seamless operation which enables continuous tracking.