İnsan etkileşimlerinin dizilimlerin histogramları ile tanınması

Abstract

Son yıllarda bilgisayarlı görü alanında insan etkileşimlerinin tanınması problemi üzerinde literatürde çok fazla sayıda yöntem önerilmiştir. İnsan etkileşimlerinin tanınması için hem uzamsal hem de zamansal öznitelikler beraber kullanılmıştır. Uzamsal alanda harekete ait bilgilerin modellenmesinde, görüntü işleme alanından elde edilen tecrübe ile önemli ilerlemeler sağlanmıştır. İnsan hareketlerin tanınması için ise zamansal bilginin modellenmesi de kritik öneme sahiptir. Son yıllarda önerilen başarılı yöntemler, hareketlerin hem zamansal hem de uzamsal yapısını birlikte modellemişlerdir. Bu tez kapsamında, karmaşık insan hareketlerinin tanınmasında, özniteliklerin zamansal dizilimlerinin histogramları isminde yeni bir model önerilmektedir. Önerdiğimiz yöntem: videolardan temel özniteliklerin çıkartılması, dizilim madenciliği ile sınıf içinde ortak olan dizilim örüntülerinin elde edilmesi, ayırt edici dizilim örüntülerinin seçilmesi, seçilen dizilimler ile videolar üzerinde histogramların elde edilmesi ve bilinen yöntemler ile sınıflandırma aşamalarından oluşmaktadır. Dizilimlerin elde edilmesi aşamasında zaman boyutunda hiyerarşik piramit yapısı kullanılarak insan etkileşimlerinin farklı zamansal ölçeklerdeki davranışları da modele dahil edilmektedir. Önerdiğimiz method farklı türdeki özniteliklerle de kullanılabilmektedir. Bu kapsamda, önerdiğimiz yöntemin başarımını derin öznitelikler ile test ettik. Önceden eğitilmiş derin ağları veri kümeleri üzerinde uyarladık ve elde edilen derin öznitelikleri önerdiğimiz yöntem ile denedik. Literatürde var olan UT Human Interactions ve TV Human Interactions veri kümelerinde yöntemimizin başarımını raporladık. UT Human Interactions veri kümesinde, ikinci grup üzerinde en iyi sonucu elde ettik, birinci grup üzerinde ise literatürdeki en iyi sonuçla aynı başarımı elde ettik. TV Human Interactios veri kümesinde ise literatürdeki en iyi sonucu elde etik.

In recent years, many techniques have been proposed for recognition of the human interactions in the computer vision literature. To recognize human interactions, spatial and temporal descriptors have been used together. In modeling of the interactions in the spatial domain, remarkable progress has been made with the experience coming from image processing area. In recognition of the human interactions, modeling temporal information has critical importance, too. It is known that the successful methods that have been proposed in the recent years model both spatial and temporal structure of the motion. In this thesis, we propose a novel representation for human interaction recognition, namely histogram of temporal sequences. The proposed representation consists of the following steps: extracting basic feature descriptors, creating common sequential patterns for each class by using sequence mining, selecting discriminative sequential patterns, creating histograms of sequences from videos and classification. In the sequence mining step, by using hierarchical pyramid structures, the different temporal behaviors of the interactions at different temporal scales are included in the final model. The proposed method can also be used with different type of features. In accordance with this capability, we have tested the performance of the new representation with the deep features. Pre-trained deep features are fine-tuned on the dataset and extracted features are used with the proposed method. We have provided the performance results on two publicly available datasets: UT Interactions Dataset and TV Human Interactions Dataset. In the UT Interactions Dataset, we have the best result on set#2 and the same performance with the best method on the set#1. In the TV Human Interactions Dataset, we have obtained the best results in the literature.