Feedforward nevral network optimisation suitable for hardware implementation

Abstract

vıı ÖZET Son zamanlarda ileri beslemeli yapay sinir ağlan üzerinde yoğun bir ilgi oluşmuştur. Bunun başlıca nedeni bu sistemlerin son derece karmaşık gerçek problemleri büyük bir basan ile çözebilmesidir. Bu sinir ağlannın eğitimi için birçok teknikler ve metodlar geliştirilmiştir. Bu metodlan başlıca üç gruba ayırmak mümkündür: küçük bir ağdan başlayıp inşa, büyük bir ağı budama ve bu iki tekniğin kanşımı. Bir başka Önemli nokta ise yazılım ortamında geliştirilen bu ağların donanıma ugulanmasıdır. Optimizasyon konusunda bir çok metod olmasına rağmen donanımı dikkate alarak optimizasyon yapan bir metod mevcut değildir. Bu tezin birinci kısmında inşa ve budama birleştiren bir metod ile bir genetik metodun karşılaştınlması yatpılmıştır. Tezin ikinci kısmında ise yukanda belirtilen ağlardaki bağlantılar için bir hassasiyet analizi geliştirilip, genetik metodla birleştirilerek donanıma uygun sinir ağı optimizasyonu gerçekleştirilmiştir. Buradaki amaç daha az hassas olan bağlantılann belirlenip donanım uygulamasında bu bağlantılar için daha basit donanım birimlerinin kullanılması ve böylece alan tasarrufu sağlanmasıdır.

IV ABSTRACT Designing on an appropriate size of a neural network is one of the main problems. Several methods are proposed to find optimum structures for feedforward neural networks. These methods are based on pruning, construction and combination of these two. Another important subject is hardware implementation of neural networks. In the first part of this thesis, two optimisation algorithms, a Genetic Algorithm and an algorithm combining pruning and construction are implemented and compared. In the second part of the thesis a new sensitivity based optimisation technique is developed. The weights of a resultant network obtained by above algorithms are updated according to a sensitivity criterion to obtain optimum structure for hardware implementation. The results showed that, if the process is carefully applied suitable network structures can be obtained without loss of performance.