Unsupervised learning of high-level invariant visual representations through temporal coherence

Abstract

Zamansal uyumluluk ilkesi, zamana bağlı bir sinyalden faydalı değişmezlikler öğrenmek amacıyla, sinyalin hızlı değişen bileşenlerini bir kenara bırakıp, yavaş değişen bileşenlerine ayırmayı ifade eder. Zamansal uyumluluk ilkesinin görsel uyaranlara uygulanması şimdiye dek daha çok erken görme aşamalarındaki degişmezlikleri, özellikle de birincil görsel korteksteki karmaşık hücrelerin değişmezlik özelliklerini, modellemeyi amaçlamıştır. Daha zor bir görev olan yüksek görme aşamalarındaki değişmezlikleri modellemeyi başarabilen, ve bu tür bir beceriyi şart koşan gerçekçi nesne veritabanlarında yüksek performansla nesne tanıyabilen, zamansal uyumluluk ilkesi tabanlı yapay ağlar literatürde nadir bulunmaktadır. Bu çalışma, zamansal uyumluluk fikrinin belli bir türü olan yavaş öznitelik analizinin değişmez nesne tanıma uygulamarında faydalı olabilecek yüksek aşama görsel temsiller olusturulmasında kullanılıp kullanılamayacağını araştırarak, önceki cümlede bahsi geçen eksikliğin giderilmesine katkıda bulunmayı amaçlamaktadır. Bugüne kadar bildiğimiz kadarıyla literatürde yavaş öznitelik analizinin basit, yapay uyaranların aksine gerçekçi nesne veritabanlarına uygulanması gerçekleştirilmemiştir. Bu amaçla, bu calışmada yavaş öznitelik analizinin kendisinin gerçekçi nesne veritabanlarındaki yüksek derece degişmezlikleri modellemeye uygun olup olmadığını araştırabilmek için herbiri `yavaş öznitelik analizi' yapan ünitelerden oluşan basit ileri-beslemeli ağ mimarileri kullanılmıştır. Bu modeller iki çeşit veritabanı üzerinde test edilmiştir: birincisi, düzlemsel pozisyon, düzlemsel rotasyon ve ölçek değişiklikleri uygulanan harf lerden oluşan veritabanları; ikincisi, bakış açısı değişmezliği öğreniminin test edilmesi için COIL-20 nesne veritabanı. Bu testlerden elde edilen sonuçlar, yavaş öznitelik analizinin çok basit denetimli sınıflandırma algoritmaları için bile bir ön-işleme adımı olarak kullanıldığında oldukça tatmin edici sınıflandırma performansları elde edilebileceğini göstermektedir. Yavaş öznitelik analizinin gerçekçi veritabanlarına rahatlıkla uygulanabilmesinin önündeki başlıca engellerin başarılı öğrenme için çok büyük öğrenme veri-kümeleri gerektirmesi, ve kullanılan modeller karmaşıklaştıkça (özellikle SFA-3 ve SFA-4 modelleri için) çok çabuk öğrenme veri-kümesine aşırı-uyum eğilimi göstermesi olduğu gözlenmiştir.

Temporal coherence principle is the idea of neglecting rapidly changing components of a temporal signal while keeping to the slowly varying ones, in order to extract useful invariances from the signal. We note that most of the applications of temporal coherence principle to visual stimuli aim at modeling invariances in early vision (mostly deriving invariance properties of complex cells in primary visual cortex). Temporal coherence implementing networks that can accomplish the more challenging task of modelling invariances in higher vision and perform reasonably well on real-world object data-sets requiring some such complex invariant recognition capability are scarcely found. In this work, we try to address this issue by investigating whether a specific variant of the idea of temporal coherence, i.e. slow feature analysis (SFA), can be used to build high-level visual representations that might be useful for invariant object recognition tasks. To date, we know of no network implementation of SFA that is put to challenge on a real-world data-set, rather than on some toy sets of simple, artificial stimuli. To this end, we use single SFA implementing nodes and very generic feed-forward network architectures to see whether SFA itself is capable of modeling high-level invariances in realistic object datasets. We test our models on two datasets that require some such capability for good recognition performance: firstly, on a dataset of letters undergoing translation, planar rotation and scale changes, and secondly on the COIL-20 dataset to see whether SFA can successfully learn view-point invariance. Our results suggest that SFA can yield satisfactory results on these datasets especially when used as a pre-processing step for even very simple supervised classification algorithms. The major limitations for the application of SFA to realistic object databases have been the requirement of large training sets for successful learning and the tendency to quickly overfit the training data as the SFA models become slightly more complex (especially for SFA-3 and SFA-4).