Improvement on motion-guided siamese object tracking networks using prioritized windows

Abstract

Son yıllarda hem Yapay Sinir Ağlarının hem öğrenme algoritmalarının gelişimi ile Görsel Nesne İzlemede önemli ilerlemeler kaydedilmiştir. Bu sayede Kalman Filtresi ve Korelasyon Filtreleri gibi geleneksel obje takip yöntemleri ile Yapay Sinir Ağları birleştirerek daha iyi sonuçlar elde ediyoruz. SiamFC, bu tür algoritmalara bir örnektir. Çünkü SiamFC, Siyam Yapay Sinir Ağlarını ve Korelasyon Filtrelerini birleştirir. Bununla birlikte, SiamFC geliştirilmeye oldukça açıktır. Bunun nedeni, SiamFC'nin obje takibi sırasında bir öğrenme sürecine sahip olmamasıdır. Kalman-Siam bu alanda iyileştirilmiş SiamFC'ye bir örnektir. Kalman-Siam, Kalman Filtresi ile Çok Katmanlı SiamFC'yi birleştirir. Kalman-Siam, takip edilen objenin önceki hareketini işleyerek objelerin üst üste gelme durumu problemini çözmek için Kalman Filtresini kullanır. Kalman-Siam için diğer zorlu senaryolarda takip işlemi başarısız olabilir. Bu tür sorunları çözmenin yollarından biri de bu durumu tespit etmek ve yeniden takip sürecinin başlatılmasıdır. Bu araştırmada bu yöntemi kullandık. Ayrıca bu durumları tespit etmek için algoritmamızda SiamFC'de korelasyon işlemi sonrası sonuç üzerinde hesaplanan bir parametre kullandık. İlk önce, algoritmamız önceliklendirilmiş arama pencereleri oluşturur. Ardından algoritma, yeniden takip için hedefin bilinen son konumunu çevreleyerek oluşturulan bu arama pencereleri için belirli bir öncelik sırasına göre çalışır. Yüksek öncelikli arama pencerelerinden başlayıp arama pencereleri kalmayana kadar bu yeniden takip sürecini Adaptive Window Search olarak adlandırdık. Bu nedenle algoritmamıza Adaptive-Kalman-Siam adını verdik. Yaygın olarak kullanılan veri setleri üzerindeki sonuçlarla daha başarılı bir yeniden takip süreci gözlemledik. Bu araştırmada önerilen Adaptive-Kalman-Siam, bir nesneyi Arka Plan Karmaşaları, Hızlı Hareket, Hareket Bulanıklığı ve Üst Üste Gelme gibi karmaşık takip senaryolarında SiamFC ve Kalman-Siam'dan daha iyi obje takibi yapmaktadır.

In recent years, there has been significant progress in Visual Object Tracking with evolutions of both computers and learning algorithms, especially in Neural Networks. Therefore, we obtain better results by combining Neural Networks and traditional tracking methods such as Kalman Filter and Correlation Filters. SiamFC is an example of such algorithms because SiamFC combines Siamese Neural Networks and Correlation Filters. SiamFC is open to development because it does not have an online learning process. An example of the improved SiamFC is Kalman-Siam that combines Kalman Filter and Multi-feature SiamFC. Kalman-Siam uses Kalman-Filter to solve the occlusion situation problem by processing the target's previous motion trajectory. Therefore, the tracking can fail in other complex scenarios for Kalman-Siam. One of the methods for solving such problems is detecting this situation and starting the re-tracking process as we used in this research. Also, we used a parameter calculated on the response map after the correlation operation in SiamFC to detect these situations. First, our algorithm generates possible prioritized search windows. Then, it runs in a specific order of priority for these generated search windows surrounding the target's last known location. We named this process Adaptive Window Search that starts from the highest priority search windows and continues until the lowest search windows do not exist. Therefore, we named our algorithm Adaptive-Kalman-Siam. We demonstrated more successful results on commonly used datasets. Adaptive-Kalman-Siam tracks an object better than SiamFC and Kalman-Siam in Background Clutters, Fast Motion, Motion Blur, and Occlusion complex tracking scenarios.