Conjoint individual and group tracking framework with online learning

Abstract

Grup birbiriyle etkileşim kuran ve ortak özellikleri paylaşan insanlardan oluşan sosyal bir birimdir. Sosyal yönünden dolayı, grup takip için görsel özelliklerin yanı sıra insan-ların birbiriyle olan etkileşimlerinin de dikkate alınması gereklidir. Ayrıca grup dinamik bir birim olup, birleşme ve ayrılma olayları ile büyüyüp küçülebilir. Bu zorluklara ek olarak, etkin bir takip gerçekleştirebilmek farklı grup türleri için farklı stratejiler gerek-mektedir. Seyrek gruplarda bireyleri tek tek takip etmek mümkünken, yoğun gruplarda, grup tek bir birim olarak düşünülmektedir.Bu tez çalışmasında, bu zorlukların üstesinden gelmek ve çözmek için, Birleşik Birey ve Grup Takibi (BBGT) olarak adlandırdığımız parçacık filtre ve ayırt edilebilen görünüm modelinde çevrim içi öğrenme tabanlı yeni bir takip yöntemi öneriyoruz. Bu takip yönteminde grup takibi ve birleşme-ayrılma olaylarını değerlendirebilmek için grup içi ve grup dışı ağırlıkları kullanan çoklu gözlem metodu önerilmektedir. BBGT iki ana aşamadan oluşmaktadır: takip ve öğrenme. Takip aşamasında, BBGT gözlemlerden çoklu ağırlıkları hesaplar ve birleşme ve ayrılma olaylarını değerlendirir. Kalabalık gru-pları takip için hareket modelinde parçacık adveksiyon metodunu kullanır. Öğrenme aşamasında, güvenilir izler önce oluşturulur. Sonrasında ayırt edilen görünüm modelin-deki şekil, renk ve doku özellikleri çıkarılır ve AdaBoost çevrim içi öğrenmede kullanılır. Ayırt edilen görünüm modeli kullanılarak hem bireyler hem de gruplar için durum tahmini yapılır.

A group is a social unit which consists of people interacting with each other and sharing the similar characteristics. Because of social properties of group, group tracking re-quires taking into account not only visual properties but also social properties such as interaction of people with each other. Also, people groups are dynamic entities and they may grow and shrink with merge and split events. This dynamic nature makes it difficult to track groups using conventional trackers. Besides these difficulties, differ-ent types of groups require different strategies in order to perform tracking effectively. While it is possible to track individuals separately when group is sparse, group is con-sidered as a single entity when it is dense.To overcome and address these challenges, we propose a new tracking strategy, named the Conjoint Individual and Group Tracking (CIGT), based on particle filter and online learning from discriminative appearance model in this thesis. The CIGT proposes a multi observation model with in-group and out-group weights in order to track groups and to evaluate merge and split events. CIGT has two complementary phases: tracking and learning. In the tracking phase, the CIGT calculates multiple weights from observa-tions and models individuals and groups with merge and split events. Particle advection is used in the motion model of CIGT to facilitate tracking of dense groups. In the learn-ing phase, reliable tracklets are first created. Then discriminative appearance model, consisting of shape, color and texture features, is extracted and used in AdaBoost online learning. State estimate is performed for both individuals and groups by using the discriminative learning model.