Reducing learning complexity in multi-view classification models

Abstract

Örüntü tanımada, mevcut bütün değişkenlerin bir sınıflandırıcıya tek bir girdi vektörü olarak verilmesi öğrenme algoritmasının genelleştirme yeteneğini boyutsallığın laneti olarak bilinen olgudan dolayı zayıflatır ki bu olgu değişken kümesinin büyüklüğü arttıkça, değişken uzayının sabit sayıda veri noktasıyla daha az karşılanmasını ifade eder. Şu ana kadarki çoğu çalışma değişkenler ile bireysel olarak ilgilendi, ancak bazı yüksek boyutlu verikümeleri literatürde ?bakış? olarak bilinen çeşitli doğal gruplara ayrılmış değişkenler içerir. Çok-bakışlı öğrenmedeki teknikler veri örneklerinin farklı bakışlarından, ki bir insan konuşmasının görüntü ve sesi buna tipik bir örnektir, en üst düzeyde faydalanır. Görüntü ve ses gibi farklı boyutlar eğer kararları birleştirilirse birbirine daha iyi sınıflandırma yapmak için yardımcı olabilir. Çok-bakışlı yöntemler her bakışın bağımsız değişkenlerinden yararlanabilmeleri ve karmaşık dağılımları daha etkin bir şekilde öğrenmeleri noktalarında tek bakışlı yöntemlerden daha faydalıdır. Bir bakış içindeki değişkenler doğal bir kombinasyon olduğundan değişken seçim teknikleri bu tür verikümelerine doğrudan uygulanamaz çünkü her bakıştan bazı değişkenleri seçip bunları tek bir değişken vektörü içinde birleştirmek önceden bahsedilen boyutsallığın laneti hususu ile aşırı öğrenme hususundan dolayı verimsiz olabilir. Bu tezde, değişken seçimi için kullanılan çeşitli yöntemler yüksek girdi boyutsallığının lanetinden sakınmak amacıyla çok-bakışlı sınıflandırma bağlamına uyarlanmıştır. Bu çalışmanın amacı, birarada olduğunda en az verikümesinin tek bakışlı hali (verikümesindeki her örnek için bütün değişkenlerin tek bir değişken vektörü teşkil edecek şekilde birleştirilmesi) kadar iyi bakışları seçmek ve bunun yanında bir sonraki öğrenme sürecinde kullanılmak üzere bu bakışlardan değişken özütlemektir. Bu yöntemlerin sonuçları çok-bakışlı sınıflandırma problemlerinde bir yol haritası çizmek için karşılaştırılmıştır.

In pattern recognition, using all the available features as a single input vector to a classifier is known to worsen the generalization of the learning algorithm due to the phenomenon known as the curse of dimensionality, which stands for the diminishing coverage of the feature space with fixed number of data points as the feature set size increases. Most studies so far concerned with features individually, however some high dimensional datasets do contain features naturally organized into several groups, which are known as ?views? in the literature. Techniques in multi-view learning exploit multiple views of the data samples, one of the typical examples of which is the audio versus video of a human speaking. Such different modalities as audio and video could help each other in making improved classification if their decisions are fused. Multi-view methods can be more successful than single view learning techniques in that they can exploit independent properties of each view and more effectively learn complex distributions. As the features in a view is a natural combination, feature selection techniques are not directly applicable to such datasets because that would involve picking some features from each view and fusing them into a single feature vector, resulting in the aforementioned curse of dimensionality or over-learning considerations. In this thesis, several methods for feature selection are tailored to fit to the context of multi-view classification so as to avoid the curse of high input dimensionality. Aim of the study was to find efficient methods for selecting those views, which cooperatively perform as well as or better than the single-view counterpart (i.e. the whole set of features fused into a single feature vector for each sample of the dataset) and besides, extracting features from those views to enhance subsequent learning process. The results of these methods are compared to draw a road map in multi-view classification problems.