Multi-view feature extraction based on canonical correlation analysis

Abstract

Kanonik Korelasyon Analizi (KKA) iki değişken kümesi arasındaki doğrusalbağıntıları belirlemeyi amaçlayan bir yöntemdir. KKA son zamanlarda makine öğrenmealanında aynı verinin farklı temsillerinden olusan çok-bakşlı veri kümelerinin artmasıyla birlikte çokça kullanılmaya başlamıştır. Bu tez, KKA yönteminin gürbüzlüğüve sınıflandırma başarısının arttırılmasına yönelik çalsmaları içermektedir. KKA, maksimumkorelasyona sahip izdüşüm vektörlerinin (eşdegişkenler) bulunması için bakışlarıkarmaşık sınıf etiketleri gibi kullanmaktadır. Bu nedenle, KKA eğitim kümesi üzerindeaşırı ögrenmeye sebep olabilir. Topluluk öğrenme yöntemleri sınıflandırma ve kümeleme yöntemlerinin bu tür aşırı ögrenme sorunlarını engellemek için kullanılmış, ancak KKAicin bir topluluk yaklaşımı henüz önerilmemiştir. Bu tezde, birden fazla alt-örneklemdenelde edilen eşdegişken kümelerinin birleştirilmesiyle nihai bir eşdegişken kümesininelde edilmesi için bir topluluk yöntemi önerdik. Çeşitli veri kümeleri üzerinde eldeedilen deneysel sonuçlar topluluk KKA yönteminin başarısını göstermektedir. KKAyönteminin gerçeklemesinde sınıf etiketlerinden yararlanılmadığı için, bu yöntemle eldeedilen öznitelikler sınıf-ayırıcı özelliğe sahip olamayabilmektedir. Bu tez iki bakışarasındaki ortak bilgiyi iceren ve aynı zamanda farklı sınıflara ait örnekleri ayırt edebilen öznitelikler arayan bir yöntem önermektedir. Önerdiğimiz yöntem her biri doğrusalgizli katmanlı ve hem sınıf örneklerini hem de birbirlerinin çıktılarını tahmin etmeyiamaçlayan iki çok katmanlı algılayıcıdan oluşmaktadır. Deneysel sonuçlar,önerilen yöntemle çıkartılan özniteliklerin daha yüksek sınıflandırma başarısı verdiğinigöstermiştir. Bu tez çalışmasının diğer bir katkısı, KKA yönteminin bir öznitelik seçmeyönteminin geliştirilmesinde kullanılmasıdır. Bunun yanında çok-bakışlı veri kümeleriiçin topluluk sınıflandırma ve kümeleme üzerine çalışmalarımızı da içermektedir.

Canonical Correlation Analysis (CCA) aims at identifying linear dependenciesbetween two sets of variables. CCA has recently become popular in the field of machinelearning with the increase in the number of multi-view datasets, which consistof different representations coming from different sources or modalities. This thesispresents our efforts to improve the robustness and discriminative ability of CCA. CCAuses the views as complex labels to guide the search of maximally correlated projectionvectors (covariates). Therefore, CCA can overfit the training data. Although, ensembleapproaches have been effectively used to avoid such overfittings of classification andclustering techniques, an ensemble approach has not yet been formulated for CCA. Inthis thesis, we propose an ensemble method for obtaining a final set of covariates bycombining multiple sets of covariates extracted from subsamples. Experimental resultson various datasets demonstrate the usefulness of ensemble CCA approach. The correlatedfeatures extracted by CCA may not be class-discriminative since it does notutilize the class labels in its implementation. This thesis introduces a method to explorecorrelated and also discriminative features. Our proposed method utilizes two(alternating) multi-layer perceptrons, each with a linear hidden layer, learning to predictboth the class-labels and the outputs of each other. The experimental results showthat the features found by the proposed method accomplish signicantly higher classification accuracies. Another contribution of this thesis is the use of CCA to improve afilter feature selection algorithm. We also present our works on ensemble classificationand clustering for multi-view datasets.