Real-time object tracking in aerial images

Abstract

Görsel nesne takibi yöntemlerinin, doğası gereği, genellikle gerçek zamanlı çalışmaları istenir. Bu durumda, takip edici algitmanın gerektirdiği işlem yükü oldukça önemlidir. Hızlı ve düşük hafıza gereksinimi ile çalışan görsel takip ediciler zaman, yer ve güç bakımından kısıtlı uygulamalar için çok önemlidir. Bunlara örnek olarak insansız hava araçları üzerinde çalışan takip edici uygulamalar gösterilebilir. Bu tezde hava görüntüleri için çalışacak, işlem yükü oldukça az bir görsel nesne takip edici sunulmaktadır.Sunulan yöntem, obje temsili ve takibi olmak üzere iki ana kısımdan oluşmaktadır. Bu tezde sunulan yenilik, hedefi basit fakat gayet esnek bir şekilde olasılıksal sonuç veren nesne bulucu bir algoritmanın takip etme yöntemleri ile birleştirilmesidir. Olasılıksal nesne temsil yöntemi geleneksel kenar bulma veya görüntü öznitelikleri temellidir. Olasılıksal gösterim, Bayesçi takip methodunu uygulamamıza olanak verir. Bu amaç için üç farklı yöntem denedik. Bunlar sırası ile şu şekildedir. İlk olarak kafes tabanlı pdf tahmini denendi. İkinci olarak Kalman filtresi ile takip işlemin basitleştirip hızlandırdık. Üçüncü olarak da, parçacık filtresi işlem yükünü azaltmak ve takip başarını arttırmak için kullandık.Bu tezde sunduğumuz yöntemin gerektirdiği işlem yükü o kadar azdır ki ARM Cortex-M7 mikrodenetleyici üzerinde çalışabilir. Dolayısıyla yöntemden sonuçları elde edebilemk için, hem bilgisayar için hem de mikroişlemci için uyguladık. Uygulama adımı işlem yükü azaltma ve hızlandırma bakımından yenilikler içermektedir. Bunun yanında önerilen yöntemimizi literatüredeki diğer önemli yöntemler ile karşılaştırdık. Böylece yöntemimizin özellikle mikroişlemciler için işlevselliğini göstermiş olduk.

Visual object trackers usually operate in real-time required by their nature. Hence, the processing power demanded by them becomes very important. Moreover, fast trackers with low memory footprint are very important for space, time, and power constrained applications such as UAV on-board visual trackers. In this dissertation, a visual object tracker which can operate on aerial images with low processing load is proposed.The proposed method consists of two main parts as object representation and tracking. The novelty of our method is in adding a simple yet flexible probabilistic object representation method to the tracking framework. The proposed probabilistic object representation method is based on classic edge or image feature detection methods. This representation allows us modifying the tracker based on Bayesian tracking framework. To do so, we use three methods as follows. First, the grid based pdf approximation is used in tracking. Second, Kalman filter is used to simplify the framework and speed up the tracking process. Third, particle filtering is applied to decrease the computational cost and increase success rate.The proposed method requires such a low processing power that it can work on an ARM Cortex-M7 microcontroller. Hence, we implemented it on both such a microcontroller and PC. The implementation step also includes novel contributions in terms of decreasing computation cost and speed up processes. Besides, we also compared the proposed method with the state of the art in literature. This allowed us to justify the usefulness of the proposed method especially when implemented on a microcontroller.