Multiple kernel learning for first-person activity recognition

Abstract

Birinci-şahıs görü uygulamaları giyilebilen kamera teknolojisindeki ilerlemeler sebebiyleyakın zamanda artan bir rağbet kazandı. Literatürde, birinci-şahıs video'ları içinmevcut tanımlayıcılar uyarlanmıştır veya yeni tanımlayıcılar önerilmiştir. Bu tanımlayıcılar,her bir tanımlayıcının göreceli önemini ihmal eden tekli-çekirdek metodundakullanılır. Öte yandan, birinci-şahıs video'ları sabit kameralarla çekilen üçüncü-şahısvideo'larla kıyaslandığında farklı ayırıcı nitelikleri vardır. Birinci şahıs video boyunca,aydınlanma ve parlaklık gibi bazı özelliklerde geniş değişiklikler oluşur. Birinci şahıskamera ile görüntü alan kişinin hareketleri sebebiyle önemli miktarda öz-hareketoluşur. Çoklu öznitelikler video özelliklerindeki farklı değişiklikleri yakalamak içinkullanılması önerilmektedir. Bu sebeple, uygun öznitelik ve çekirdek seçimi gerekir.Bu tezde, lokal ve global harekete ilişkin öznitelikler kullanılır. Bu öznitelikleri veçekirdekleri seçmek ve bir araya getirmek için veri-güdümlü yaklaşım önerilir. Öznitelikve çekirdek seçimi olasılık temelli bir yol kullanılarak, AdaBoost algoritmasınınbilinen denemeleriyle gerçekleştirilir. Eğitme aşamasında, diğer sınıflandırıcılardandaha iyi bir performans gösteren sınıflandırıcı her deneme için belirlenir. Bütün denemelerdensonra, nihai sınıflandırıcıyı meydana getiren sınıflandırıcılar belirlenir. Testaşamasında, nihai sınıflandırıcı aktivite etiketlerine oylama mekanizmasına dayalıolarak karar verir. Yürütülen deneyler, önerilen metodun literatürdeki gelenekselDVM (Destek Vektör Makineleri - SVM) tekil çekirdek temelli metotlara göre, tanımadoğruluğu bakımından daha üstün olduğunu gösterir.

First-person vision applications have recently gained increasing popularity becauseof advances in wearable camera technologies. In the literature, existing descriptorshave been adapted to the first-person videos or new descriptors have been proposed.These descriptors have been used in a single-kernel method which ignores the relativeimportance of each descriptor. On the other hand, first-person videos have differentcharacteristics as compared to third-person videos which are captured by static cameras.Throughout the first-person video, vast changes occur in some attributes such asillumination or brightness. A significant amount of ego-motion is created because ofthe movements of the first-person camera wearer. Multiple features are used in orderto capture the different changes in video characteristics. Therefore, appropriate featureand kernel selection are needed. In this thesis, local and global motion-related featuresare used. A data-driven approach is proposed in order to select and combine thesefeatures and kernels employed. Feature and kernel selection is performed throughAdaBoost algorithm's well-known trials in a probabilistic manner. At training stage,a classifier which shows better performance than other classifiers is determined foreach trial. After all trials, classifiers which compose the final classifier are determined.At testing stage, final classifier makes decision for activity labels based on a votingmechanism. Experiments show that the proposed methods outperform the traditionalSVM single kernel-based methods in literature in terms of recognition accuracy.