Max-Margin stacking with group sparse regularization for classifier combination

Abstract

Çoklu sınıflandırıcı sistemlerinin, çok sınıflı sınıflandırma problemlerinde karmaşık fakat doğruluk oranı yüksek bir sınıflandırma yöntemi olduğu, örüntü tanıma literatüründe sıkça işlenmiştr. Sınıflandırıcı birleştirme, verilen bir sınıflandırıcı kümesini nasıl birleştirilmesi gerektiği problemini çözmeye çalışır ve yığıtlı genelleme, başka bir deyişle yığıtlama, çok güçlü sınıflandırıcı birleştiricilerden biridir. Bu tezde yığıtlamanın performansını hem doğruluk oranı açısından, hem de karmaşıklık açısından artırıyoruz. Katkılarımız dört ana başlıkta toplanabilir. Öncelikle, birleştiriciyi öğrenirken sınırı en-büyükleyen menteşe kayıp fonkiyonu kullanmanın, literatürde daha önce kullanılan en küçük kareler kayıp kestiriminden daha iyi sonuçlar verdiğini gösterdik. İkinci olarak, düzenlileştirme için grup seyrekliği kullanarak otomatik sınıflandırıcı seçmeyi kolaylaştııyoruz. Üçüncü olarak, sınıf-bilinçli doğrusal birleştiricilerin doğrusal olmayan sürümlerini elde etmek için, veritabanı dönüştüren bir yöntem geliştiriyoruz. Son olarak, doğrusal bir sınıflandırıcı birleştirme yöntemi için MM algoritmalarını kullanarak bir çözüm buluyoruz.

Multiple classifier systems are shown to be effective in terms of accuracy for multiclass classification problems with the expense of increased complexity. Classifier combination studies deal with the methods of combining the outputs of base classifiers of an ensemble. Stacked generalization, or stacking, is shown to be a strong combination scheme among combination algorithms; and in this thesis, we improve stacking's performance further in terms of both accuracy and complexity. We investigate four main issues for this purpose. First, we show that margin maximizing combiners outperform the conventional least-squares estimation of the weights. Second we incorporate the idea of group sparsity into regularization to facilitate classifier selection. Third, we develop non-linear versions of class-conscious linear combination types by transforming datasets into binary classification datasets; then applying the kernel trick. And finally, we derive a new optimization algorithm based on the majorization-minimization framework for a particular linear combination type, which we show is the most preferable one.