Destek vektör makineleri ile doküman sınıflandırma

Abstract

Bu tezde, çevrimiçi Destek Vektör Makineleri (DVM) kullanılarak doküman sınıflandırma çalışması yapılmıştır. Lasvm algoritması eşli çekirdek yöntemi ile çalışacak şekilde adapte edilmiştir. İlk olarak, seçilen çekirdek fonksiyonun etkileri ve parametreler belirlenmiştir. Bunun için doğrusal bir karar sınırı ile sınıflanacak dokümanlar yüksek boyutlu bir uzaya gömülmüştür. Bu nedenle veri gömme prosedürü ve çekirdek hilesi detayları örneklerle açıklanmıştır. Optimal hiper parametreler belirlendikten sonra eşli eğitim ve test verilerinin farklı kombinasyonları ile deneyler yapılmıştır. DVM modellerinin performansları doğru sınıflandırma oranı ve ROC eğrisi altında kalan alan kriterleri ile değerlendirilmiştir. Sonuçlar, çevrimiçi sınıflandırmanın ikili ve çok sınıflı, sınıflandırma işlemlerine iyi bir alternatif metot olduğunu göstermiştir. Bu doküman sınıflandırma işleminde, eldeki verilerin yüksek boyutlu olması nedeniyle doğrusal eşli çekirdekler, gauss eşli çekirdeklerine göre daha iyi sonuçlar vermiştir.

In this thesis, document classification task is studied using an online Support Vector Machine. Lasvm algorithm is adapted as to work with pairwise kernels. At first, the effects of the choice of the kernel function and its parameters are considered. In order to classify documents with a linear decision bound, the data is mapped into a higher dimensional space. Therefore the data mapping procedure and the kernel trick are explained in detail with several examples. After the determination of optimal hyperparameters, experiments are conducted on different combinations of pairwise training and testing data. Performances of the SVM models are compared according to the classification accuracy and area under the ROC curve. Results indicate that online pairwise classification is a good alternative to the methods used in binary and multiclass classification tasks. In this document classification task, linear pairwise kernels achieve better results than the gaussian pairwise kernels because of the high dimensionality of the data at hand.