Comparison of multi-layer perceptron algorithms

Abstract

ÖZET Hata geri yayma ağının öğrenme evresi, bir şarta bağlı olmayan optimizasyon problemi olarak kolaylıkla incelenebilir. Böyle bir problemin çözümü, bağımsız değişkenler serisini sistematik bir şekilde değiştirerek bir hedef fonksiyonunun azaltılmasını veya artırılmasını içerir. Birçok uygulamalarda, yapay sinir ağındaki bağlantı sayısı oldukça fazla olduğundan dolayı, klasik hata geri yayma metodu için öğrenme zamanı oldukça uzun sürer. Sayısal optimizasyon teorisinin sunduğu zengin ve güçlü teknikler sinir ağlarının öğrenme oranını geliştirmek için kolaylıkla uygulanabilir. Bu çalışma dört adet sayısal optimizasyon metodunu (Conjugate Gradient, Quasi-Newton.Levenberg-Marquardt, Nelder-Mead metodları) ve bunların çok katmanlı perseptronlar için uygulanmasını içerir. Bu çalışmada ayrıca dışlamalı- veya öğesi, parite (eşlik) biti, ve düzensiz zaman serileri tahmini problemleri için klasik geri yayma ağı metodu ile sayısal optimizasyon metodlarının karşılaştırma sonuçları da verilmiştir. Dışlamalı-veya öğesi, parite (eşlik) biti, ve düzensiz zaman serileri tahmini problemleri için, kullanılan sayısal optimizasyon metodlarının klasik hata geri yayma metoduna göre daha hızlı olduğu bulunmuştur. Ayrıca, sayısal optimizasyon metodlarının klasik hata geri yayma metoduna göre çok daha az sayıda fonksiyon ve türev hesaplanması gerektirdiği de gözlenmiştir.

IV ABSTRACT The learning phase of a backpropagation network can easily be viewed as an unconstrained optimisation problem. The solution of such a problem typically involves modifying a set of independent variables in a systematic fashion to minimise or maximise some objective function. In many applications, the number of interconnects or weights in a neural network is so large that the learning time for the conventional backpropagation algorithm can be excessively long. Numerical optimisation theory offers a rich and robust set of techniques which can be applied to neural networks to improve learning rates. In this work four groups of numerical optimisation methods (Conjugate Gradient Methods, Quasi-Newton Methods, Levenberg-Marquart Method and Nelder-Mead Method) and their application to the multi-layer perceptrons is examined. The results of exclusive-OR, three-bit parity and chaotic time series prediction problems, which compare conventional backpropagation and numerical optimisation methods, are also presented in this work. For exclusive-OR, three-bit parity and chaotic time series prediction problems we found that the above mentioned numerical methods are faster than conventional backpropagation. It was also observed that numerical methods also require much less number of function and gradient evaluations than conventional backpropagation with momentum.