Improved algorithms for linear discriminant analysis

Abstract

Örüntü tanımlama ve sınıflandırma, makine öğreniminde önemli araştırma alanlarındandır. Bu alanlar için önerilmiş pek çok algoritma olmasına rağmen,örneğin çok katmanlı perceptron yapay sinir ağları çok karmaşık verileri ayrıştırabilme özelliğine sahiptir, verinin özelliklerini göz önüne alınarak; örneğin geri besleme yöntemi, gizli katmanların sayısı vs, doğrudan uygulanabilecek genel bir yöntem önermek çok güçtür. Sınıflandırma algoritmalarının genelleyebilme kapasitesini ve etkinliğini belirleyen önemli özelliklerden biri de, işlenmemiş verinin örnek uzayda nasıl bir şekilde dağılmış olduğudur. Seyrek dağılmış ve ya az çakışan veri sınıfları yardımı ile pek çok sınıflandırma algoritmasının genelleyebilme kapasitesi, bilgi içeriğini kaybetmeden, daha iyi bir duruma gelebilir. Böylece, çok boyutlu verinin gereksiz yere kullanımı engellenebilir. Elde edilen ayrıştırıcı fonsiyonun, sınıflandırma performansını yükseltmesi beklendiği gibi, ayrıca 'boyut sorunu' na da çözüm getirmesi beklenir. Veriyi, ayrıştırıcı fonksiyonu ile işlemeden önce, bir ön-işleme algoritmasına tabi tutma yolu ile örnek uzayda daha iyi dağılımlar elde etmek sıkça uygulanan bir modeldir. Buna göre elde edilen daha basit ayrıştırıcı fonksiyonun daha iyi genelleyebilme kapasitesi göstermesi beklenir.Ayrıştırıcı fonksiyonun basitleştirilmesi gerçek-zamanlı işleme yapılabilmesi açısından önemlidir, ör: girilen verinin tanımlanması vs.Seyrek dağılmış veriyi ön-işleme tabi tutma ihtiyacı doğduğundan beri, diskriminant analizi kullanımı yaygındır. Doğrusal olmayan diskriminant analizinin kernel durumu gerektirdiği gibi bazı özel durumlar için değişiklik ihtiyacı olmasına rağmen, formülasyonundaki basitlikten ve nöral ayrıştırıcı fonksiyonlar için doğrudan sonuç vermesinden dolayı, doğrusal diskriminant analizi(LDA) ayrıştırıcı fonksiyon bazlı makine öğrenimi uygulamalarında önemli bir yer tutmaktadır.Bu tez içerisinde, doğrusal diskriminant analizi öncesinde uygulanabilecek ve daha iyi veri dağılımı özellikleri ortaya çıkarabilecek yeni bir algoritma sunulmuştur.Algoritma, gerçek koku verileri ile çok tanınmış bazı örüntü tanımlama algoritmaları kullanılarak test edilmiştir.İstenilen genelleyebilme kapasitesine ulaşabilmek için gereken alıştırma örneklerinin sayısı ve istenilen öğrenme algoritmasına yakınsama için gereken döngü sayısı baz alınarak, doğrusal diskriminant analizi kullanmayan algoritmalar ile bir performans karşılaştırılması yapılmıştır.

Data recognition and classification are key research topics in machine learning. Although there are algorithms such as multi-layered perceptron neural networks which are able to discriminate even highly complex data, it is difficult to suggest a direct methodology to determine their respective configuration, i.e. type of feedback, number of hidden layers etc. An important aspect which determines the efficiency and generalization capability of a classification algorithm is how data spread in raw sample space. Most classification algorithms can be brought in improved generalization capability by providing them with loosely scattered or less overlapped classes of data without reducing the information content. By doing so, it is possible to avoid the need of redundantly formed high-dimensional representation of data. Resulting classifier is expected to leverage in classification performance as well as remedial to problem of `curse of dimensionality?. A widely adopted method for better scattering in sample space is to employ a pre-processing algorithm before introducing data into classifier. Resulting simpler classifier is expected to exhibit improved generalization capabilities. An important outcome to be attained with simplicity is real-time processing, i.e. recognition of the input.As per the statements about pre-processing for loosely scattered data, discriminate analysis has been well known. Despite some modifications such as nonlinear discriminate analysis based on kernels which satisfy certain criteria, the simplicity in formulation and direct consequence onto neural classifiers, linear discriminant analysis (LDA) has been regarded for numerous classifier-based machine learning applications. Due to its simplicity, LDA has considerable benefit advantages compared to other spectral methods such as principal component analysis (PCA), or singular value decomposition (SVD).In this thesis, a new pre-processing algorithm toward improved data scatter properties as an LDA algorithm is introduced. It is experimented with real odor data utilized in a well-known pattern recognition algorithms. The performance comparison is evaluated to those which do not employ LDA in terms of the number of training samples to achieve a desired generalization capability and the number of iterations needed to get the algorithm to converge the associated learning algorithm.