Hybrid CPU-GPU implementation of tracking-learning-detection algorithm

Abstract

Bir video görüntüsünde var olan nesnelerin takibi; robotların öğrenme mekanizması (bir nesnenin görsel özelliklerinin robot tarafından; hareket etme, şekilsel değişikliğe uğrama, ölçek değişimi, ve/veya dönme gibi zaman içinde nesnede meydana gelen değişikliklerin anbean takip edilerek öğrenilmesi), savunma, kamu güvenliği, ve bunlara benzer diğer birçok alanda önemli bir yere sahiptir. Bu tezde yakın bir zamanda önerilmiş olan, TLD (Takip Etme-Öğrenme-Tespit) isimli bir nesne takip algoritmasına odaklandık. TLD başarılı sonuçlar üretmesine karşın, çok yüksek hesaplama gücüne ihtiyaç duyan bir yöntemdir. Bu yüksek hesaplama gücüne duyulan ihtiyaç; CPU üzerinde yüksek çözünürlüklerdeki video'larda tek bir nesnenin takibini ya da bir video'da birden fazla nesnenin takip edilebilmesini engellemektedir. Biz de bu özgün takip algoritmasının hızını arttırmaya yönelik bir dizi çalışmalar yaptık ve GP-GPU (GPU üzerinde genel amaçlı programlama) ile Open-MP ve CUDA teknolojilerini kullanarak hibrid bir çözüm gerçekleştirdik. Sonuçlarımız gösteriyor ki 480x270 çözünürlükte 2.82 kat kadar hızlanma sağlanmaktadır. Çok büyük bir ölçekte paralel bir sistemden beklendiği üzere hızlanma daha yüksek çözünürlüklerde daha fazla olmaktadır ve 1920x1080 çözünürlüğünde 10.25 kata kadar yükselmektedir. Bu hızlanma, yüksek çözünürlüklerde nesne takibine ve çoklu nesne takibine imkan sağlamakta ve takip algoritmasının kalitesini arttıracak şekilde kurulum değişkenlerinin belirlenmesine olanak sağlamaktadır.

Tracking objects in a video stream is an important problem in robot learning (learning an object's visual features from different perspectives as it moves, rotates, scales, and is subjected to some morphological changes such as erosion), defense, public security and many other various domains. In this thesis, we focus on a recently proposed tracking framework called TLD (Tracking-Learning-Detection). While having promising tracking results, the algorithm has high computational cost. The computational cost of the algorithm prevents running it at higher resolutions as well as running multiple instances of the algorithm to track multiple objects on CPU. In this thesis, we analyzed this framework with an aim to optimize it computationally on a CPU-GPU hybrid setting and developed a solution via using GP-GPU (General Purpose GPU) programming using Open-MP and CUDA. Our results show that 2.82 times speed-up at 480x270 resolution can be achieved. The speed-ups are higher at higher resolutions as expected in a massively parallel GPU platform, increasing to 10.25 times speed-up at 1920x1080 resolution. The resulting performance of the algorithm enables the algorithm to track multiple objects at higher frame rates in real-time and improving detection and tracking quality by allowing selection of configuration parameters requiring higher processing power.