PISA 2015 veri setinde OVA ve OVO stratejileri çerçevesinde bazı temel sınıflandırıcıların performanslarının karşılaştırılması

Abstract

Bu çalışmanın amacı hem çok sınıflı verilerin sınıflandırılması için kullanılan OVA ve OVO stratejilerinin hem de bu stratejiler altında uygulanan bazı ikili sınıflandırıcıların performanslarının karşılaştırılmasıdır. Çalışmanın yöntemi betimsel araştırmadır. PISA 2015 Türkiye uygulamasının fen başarı testi ve anket sonuçları veri seti olarak kullanılmıştır. PISA 2015 Türkiye uygulamasına 61 ilden 187 okul ve 5895 öğrenci katılmıştır. Okullar belirlenirken tabakalı seçkisiz örnekleme yöntemi kullanılmış daha sonra bu okullardan seçilen öğrenciler yine seçkisiz yöntemle belirlenmiştir. Okullar, istatistiki bölge birimleri sınıflamasına göre belirlenen 12 bölge içinden, eğitim türü, okul türü, okulların bulundukları yer ve okulların idari biçimleri dikkate alınarak oluşturulmuştur. 5895 örnek içeren veri setinden, boş veri içeren örnekler silindiğinde elde edilen 3459 örnekli veri seti çalışmada kullanılmıştır. 26 bağımsız 1 bağımlı değişkenden oluşan veri setinde bağımsız değişkenler kategorik olarak tanımlanmıştır. Veri dosyası arff formatına dönüştürülerek WEKA experimenter tezgâhında analizler gerçekleştirilmiştir. OVA ve OVO stratejileri altında belirlenen beş farklı algoritma veri setine uygulanmıştır. Test seçeneklerinden 10 katlı çapraz geçerleme, birleştirme stratejilerinden de oy verme tekniği kullanılmıştır. Analiz sonucunda OVA ve OVO stratejilerinin her ikisi altında en başarılı algoritmalar LR ve NB algoritmaları iken en başarısız algoritma KNN algoritmasıdır. En az örnek içeren sınıfı tahminleyebilme başarısı bakımından her iki strateji altında da en başarılı algoritma KNN algoritmasıdır. Algoritmalar doğruluk değeri ve hata ortalaması bakımından OVA stratejisi altında F metriği bakımından ise OVO stratejisi altında daha başarılıdır. Farklı algoritmaların performansları farklı ve daha çok sayıda veri seti üzerinde, farklı ayrıştırma ve birleştirme stratejileri ile, farklı test seçenekleri, farklı performans metrikleri, farklı algoritma parametreleriyle ya da yapılacak farklı önişlemler ile denenebilir. Anahtar SözcüklerAyrıştırma stratejileri, Çok sınıflı sınıflandırma, Sınıflandırma algoritmaları, Performans karşılaştırma.

The aim of this study is to compare the OVA and OVO strategies used for the classification of multi-class data as well as the performance of some binary classifiers under these strategies. The method of the study is descriptive research. Test data and survey results of 5895 Turkish students who participated to PISA-2015 were used. PISA 2015 science achievement test and survey results obtained from Turkey were used as data set. 5895 students from 187 schools and 61 provinces joined PISA 2015 in Turkey while determining the schools, stratified random sampling method was used and then the students selected from these schools were determined by random method. The schools were formed by taking into account the types of education, type of school, the location of the schools and the administrative forms of the schools within the 12 regions determined by the classification of statistical district units. In the data set containing 5895 samples, the 3459 sample data set obtained when the samples containing missing data were deleted was used in the study. In the data set consisting of 26 independent and 1 dependent variables, independent variables were categorically defined. The data file was converted to arff format and analyzed at WEKA experimenter. It was applied five different algorithms to data set under OVA and OVO strategies. 10-fold cross validation from the test options and voting techniques from the joining strategies were used. The most successful algorithms under both OVA and OVO strategies are LR and NB algorithms, while the most failing algorithm is the KNN algorithm. The most successful algorithm under both strategies is the KNN algorithm for the success of estimating the class with the least sample. Algorithms in terms of accuracy and mean error metrics are more successful under the OVA strategy and F metric for the OVO strategy. The performance of the different algorithms can be tested on different and more data sets, with different decomposition and combining strategies, test options, performance metrics, algorithm parameters or pre processes to be made.Key WordsMulticlass classification, Binarization techniques, Classification algorithms, Comparing performance.