Karınca koloni optimizasyoni ile yapay sinir ağlarından kural çıkarımı

Abstract

Veriden sınıflandırma kuralları çıkarımı, veri madenciliği (VM) uygulamalarının ilgi çeken ve önemli bir işidir. Günümüze kadar literatürde sınıflandırma kural çıkarımına, etkin algoritmalar geliştirmek için birçok çalışma yapılmıştır. Konu, veri madenciliği alanındaki merkezi rolünden dolayı halen araştırmacıların ilgisini çekmektedir. Yapay sinir ağları (YSA), veri madenciliğinin sınıflandırma işinde en çok kullanılan tekniklerden biridir. YSA'lar yüksek sınıflandırma doğrulukları elde edebilmelerine rağmen, tanımlama yeteneklerinin olmaması önemli bir eksiklikleridir. YSA'lar kara kutulardır ve bir problemi nasıl öğrendiklerini ve çözdüklerini anlamak çok zordur. Yapay sinir ağlarının sınıflandırma problemlerinde kullanılmasındaki temel neden, bu modellerden anlaşılır bilgiyi çıkarmaktır. Bu amaçla tez çalışmasında sınıflandırma problemleri için, eğitilmiş yapay sinir ağlarından bilgi kazanımına yönelik bir algoritma geliştirilmiştir. Geliştirilen algoritma, YSA yapısında bağlantı ağırlıkları formunda bulunan gizli bilgiyi keşfetmek için eğitilmiş yapay sinir ağları üzerinde çalışmaktadır. Önerilen algoritma, temelde Tur Atan Karınca Koloni Optimizasyon Algoritması (TAKKO) olarak bilinen bir meta-sezgisele dayanmaktadır ve iki-adımlı hiyerarşik bir yapıya sahiptir. İlk adımda çok katmanlı algılayıcı tipi sinir ağı eğitilmekte ve ağırlıkları çıkarılmaktadır. Ağırlıklar elde edildikten sonra, ikinci adımda TAKKO algoritması sınıflandırma kurallarının üretimi için kullanılmaktadır.Önerilen algoritma deneysel olarak on iki ikili ve çok-sınıflı referans veri kümesinde analiz edilip, değerlendirilmiştir. Bu deneysel çalışmalar ve diğer klasik ve modern kural çıkarım algoritmalar ile karşılaştırmalar, geliştirilen yaklaşımın doğru ve özlü sınıflandırma kuralları keşfetmekte büyük potansiyeli olduğunu göstermektedir.

Extracting classification rules from data is an important and challenging task of data mining applications. Many approaches have been proposed in the literature so far in order to develop effective algorithms for classification rule extraction. The topic is still attracting interest of researchers due to its central role in data mining research.Artificial Neural Networks (ANNs) is one of the most widely used techniques in classification task of data mining. Although ANNs can achieve high classification accuracies, an important drawback of them is their lack of explanation capability. ANNs are black boxes and it is very difficult to understand how they learned and solved a problem. The main challenge in using neural networks in classification problems is to get explicit knowledge from these models. For this purpose in this thesis, a knowledge extraction algorithm from trained ANNs for classification problems is presented. The proposed rule extraction algorithm actually works on the trained ANNs in order to discover the hidden knowledge which is available in the form of connection weights within ANN structure. The proposed algorithm is mainly based on a meta-heuristic which is known as Touring Ant Colony Optimization (TACO) with a two-step hierarchical structure. In the first step, a multilayer perceptron type neural network is trained and its weights are extracted. After obtaining the weights, in the second step TACO algorithm is applied to generate classification rules.The proposed algorithm is experimentally analyzed and evaluated on 12 binary and n-ary benchmark data sets. These experimental studies and comparisons with some other classical and state-of-the art rule extraction algorithms shown that the proposed approach has a big potential to discover accurate and concise classification rules.