Yapay sinir ağları eğitiminin gradyen tabanlı ve global arama algoritmaları ile FPGA üzerinde donanımsal gerçeklenmesi

Abstract

Yapay sinir ağları (YSA), sistem giriş ve çıkışları arasındaki karmaşık ilişkiyi etkili bir şekilde modelleyebilme yeteneği ile bilimsel çalışmalarda yaygın olarak kullanılmaktadır. Güncel çalışmalarda YSA eğitiminde gradyen tabanlı algoritmaların yanında global arama özelliğine sahip algoritmalar da kullanılmaktadır. Bu çalışmada, gradyen tabanlı algoritmalardan geriye yayılım (GY) ve Levenberg & Marquardt (LM) algoritmaları ile sezgisel arama özelliğine sahip algoritmalardan parçacık sürü optimizasyon (PSO) ve yapay arı koloni (YAK) algoritmaları kullanılarak YSA eğitimi FPGA üzerinde donanımsal olarak gerçeklenmiştir. Gerçeklemelerde sağlamış olduğu dinamiklik ve hassasiyetten ötürü IEEE 754 kayan noktalı sayı formatı kullanılmıştır. FPGA üzerinde YSA gerçeklemesinde en kritik aşama olan aktivasyon fonksiyonunun gerçeklenmesinde matematiksel yaklaşımlar tercih edilmiştir. Donanımsal gerçeklemeler dinamik sistem tanıma ve araç plaka bölgesi belirleme problemleri kullanılarak test edilmiştir. Eğitilen YSA'lar eğitim fazında ağa gösterilmeyen giriş-çıkış örnekleri ile test edilmiş ve her örnek için yukarıda bahsi geçen algoritmaların YSA eğitimindeki başarım oranları kıyaslamalı olarak verilmiştir.Anahtar Sözcükler: FPGA, Yapay Sinir Ağları, Yapay Sinir Hücresi, Geriye Yayılım Algoritması,Levenberg & Marquardt Algoritması, Parçacık Sürü Optimizasyon Algoritması, Yapay Arı Koloni Algoritması, Kayan Noktalı Sayı

Artificial neural networks (ANNs) are commonly used in scientific studies due to their ability to effectively model complex relationship between input and output of a system. In recent studies global search algorithms are also utilized in addition to gradient based algorithms in ANN training. In this study, hardware implementation of ANN training on FPGA is realized using gradient based algorithms such as Back Propagation (BP) and Levenberg&Marquardt, and heuristic algorithms such as Particle Swarm Optimization (PSO) and Artificial Bee Colony (ABC). For implementation, floating point numbers are chosen as number format due to its dynamism and accuracy. Mathematical approachesare preferred for hardware implementation of activation functions, which is the most critical stage of ANN implementation on FPGA. The hardware implementations on FPGA are tested using dynamic system identification and license plate recognition problems. The trained ANNs are tested using input-output data sets which are not used in training and results for each example are given in a comparative manner.Keywords: FPGA, Artificial Neural Networks, Artificial Neural Cell, Back Propagation Algorithm, Levenberg & Marquardt Algorithm, Particle Swarm Optimization Algorithm, Artificial Bee Colony Algorithm, Floating Point Number