Multi-object tracking by associations on temporal window

Abstract

Bu tezde görüntü üzerinde çoklu nesne araç takip sistemi önerilmiştir. Ardışık çerçevelerde nesnenin birim pozisyon değişikliğini nesnelerin aidiyetleri uzerine minimum maliyet maksimum akış problemini çözerek oluşturulmaktadır. Son yıllardaki Evrişimli Sinir Ağları işleyiş süresi ve nesne tespiti performans artışları `tespit-ederek-takip` yaklaşımını oluşturmuştur. `Tespit-ederek-takip` yaklaşımı ardışık çerçevelerde tespit edilmiş nesneler uzerinden data veya kimlik cağrışımları yapılması yöntemidir. Onerilen takip sistemi otonom surus uygulamalarını hedef almaktadir; hareketli şekilde kaydedilmiş sahne kayıtları, hareket eden merkez araçtan, üzerinde çalışma kabiliyeti bulunmaktadir. Nesne tanımlama görevi 3 adet ImageNet veri seti üzerinde eğitilmiş daha sonrasında ise KITTI nesne tanimlama veri seti uzerinde son katman ayarları yapılmıs Faster R-CNN Inception ResNet v2 ağından oluşan Sinir Ağları Topluluğu ile gerçekleştirilmektedir. Ayrıca Sinir Ağları Topluluğunun ürettiği sınırlayıcı nesne pozisyon kutularini birşeltirilmesi icin yeni bir metod önerilmiştir. Otonom sürüş için gerekli sayısal olarak karmaşık gereksinimler, konumlandırma, doluluk kafesleme guncellemesi, alıcı füzyonu, yörünge planlama vb., gereksinimlerle onem duyularak hesaplama kaynakları iki veya üç görüntü çerçevesinde geçici zaman aralığına odaklanılarak efektif bir sekilde kullanılmıştır. Geçici penceredeki olası bütün cağrışımlar yerine seyrek yakınlık ağı oluşturularak minimum maliyet maksimum akış problemi çözülmüştür. Hesaplama bakımından daha hafif bir versiyonda denenmiştir, ardışık iki görüntü çerçevesinde tespit edilmiş nesneler için ikili graf benzerlik ağırlıkları doğrusal toplam atama problemi, Macar Algorithmasi ile çözülmüştür. Önerilen yöntemlerin değerlendirilmesi KITTI Nesne Takibi Değerlendirme 2012 veri setinde 'Araba' sınıfı ile gerçekleştirilmiştir. KITTI Nesne Takibi veri seti 8.008 görüntü çerçevesinden oluşan 21 eğitim ve 11.095 görüntü çerçevesinden oluşan 29 test sekansı içermektedir. Çerçeveler saniyede 10 defa ile ölçümlenip kaydedilmiş, her sekansin birbirinden farklı uzunluğu ve değerlendirdiği hareket senaryoları içermektedir. Önerilen model ortalama olarak 20 hertz frekans ile çalışmakta olup cevrimiçi modeller ile kıyalandığında KITTI siralamasinda MOTA, MT ve ML metriklerinde ikinci olup, IDS metriğinde en iyi performansı göstermiştir.

In this thesis, multiple-object vehicle tracking system that generates tracklets by solving the min-cost max flow problem of affinity between detected objects of consecutive frames are proposed. Recent performance enhancement in runtime and detection accuracy of Convolutional Neural Networks and their capability is object detection created the tracking-by-detection paradigm. Tracking-by-detection is the approach of data i.e. identity, association between individual frames of a sequence. The proposed tracking system is targeted to autonomous driving applications, with being able to track on non-stationary scene recordings, i.e. from a moving ego vehicle. Object detection task is performed using an Neural Network Ensemble consisting of 3 Faster R-CNN Inception ResNet v2 networks, that are trained on ImageNet dataset and fine-tuned for KITTI Object Detection Dataset. A method is proposed for combining the bounding boxes generated from each of the Convolutional Neural Network. Efficient usage of the processing resources for autonomous driving that should satisfying the requirements of computationally complex tasks such as localization, object detection, occupancy grid update, sensor-fusion, trajectory planning etc. are respected by generating tracklets on a temporal window of three frames. Also data association is done by solving min-cost flow of sparse affinity network rather than considering all possible assignments, that solves memory and computational constraints. Lighter version of the method is also presented where the temporal window is reduced to two consecutive frames and data association is done by solving linear sum assignment problem, minimum weight matching of a bipartite graph introduced by the Hungarian Algorithm. For evaluation of the trackers KITTI Object Tracking Evaluation 2012 dataset and 'Car' class is used. KITTI Object Tracking dataset consists of 21 training sequences with 8.008 frames and 29 testing sequences with 11.095 frames. Frames were recorded at 10 FPS from a camera mounted on the ego vehicle. All sequences have varying number of objects and lengths with their unique motion scenarios. In our evaluation study, the followingmetrics are adopted: Recall, Precision, F1-Measure, False Alarm Rate, False Positives, False Negatives relating to the object detection task and Runtime, widely used CLEAR MOT metrics like Multiple Object Tracking Accuracy and also Fragmentation ,ID-switch, Mostly-Tracked and Mostly-Lost for MOT evaluation. with our model performing second on MOTA, MT, ML metrics compared to the state-of-the-art online MOT methods. It showed less than half of the reported IDS from the best MOTA metric and lower FRAG, while working 6 times faster, with mean runtime at 20 Hz.