Incremental neural network construction algorithms for training multilayer perceptrons

Abstract

ÖZET YAPAY SINIR AĞLARININ ÇOK KATMANLI ALGILAYICILAR İÇİN ARTIMLI OLUŞTURULMASI Çok katmanlı algılayıcıların yapılarının belirlenmesi problemi ve standart geri yayılım algoritmasının sorunları bu konudaki çalışmaları bu yapıyı öğrenme sırasında belirleyebilen algoritmalar üstünde yoğunlaştırdı. Bu çalışmada, çok katmanlı algılayıcıların yapılarını otomatik olarak belirleyen iki algoritma öneriyoruz: Birinci algoritma, CAST, saklı üniteleri birer birer ekleyerek tek saklı katmandan oluşan bir yapı oluşturur. İki yapıyı karşılaştırırken istatistiksel testleri kullanır, ikinci algoritma, MOST, birden fazla saklı katmanı olan ya da hiç saklı katmanı olmayan yapılar oluşturabilir. Üniteleri birer birer eklemek yerine, bir ya da daha fazla ünite çıkarmayı, eklemeyi ya da yeni bir saklı katman eklemeyi dener ve istatistiksel testleri kullanarak bir seçim yapar. MOST algoritması ünite ekleme ve çıkarmaya hem de birden fazla saklı katmana izin veren tek algoritmadır. Önerilen algoritmaların kullanılan standart veri kümeleri üzerindeki sonuçları ümit verici ve optimal çözüme yakındır.

IV ABSTRACT INCREMENTAL NEURAL NETWORK CONSTRUCTION ALGORITHMS FOR TRAINING MULTILAYER PERCEPTRONS The problem of determining the architecture of a multilayer perceptron together with the disadvantages of the standard backpropagation algorithm, directed the re search towards algorithms that determine not only the weights but also the structure of the network necessary for learning the data. In this work we propose two algorithms: the Constructive Algorithm using Sta tistical Tests (CAST), and Constructive Algorithm with Multiple Operators using Sta tistical Tests (MOST). The first one constructs a single hidden layer network by adding hidden nodes one by one. The algorithm checks the difference between the errors of the current and candidate networks and decides whether to select the candidate network or not by using a statistical test for comparing the accuracies of the two networks. The networks that are constructed by MOST can have more than one hidden layer. The algorithm uses node removal, addition and layer addition and determines the number of nodes in layers by heuristics. To our knowledge, MOST is the only algorithm that constructs a multilayer perceptron with multiple hidden layers with multiple units per layer. The results of the algorithms are promising and near optimal.