Theoretical prediction of parameter quantization effects in gaussian potential function neural networks
- Global styles
- Apa
- Bibtex
- Chicago Fullnote
- Help
Abstract
GAUSS POTANSİYEL IŞLEVLI YAPAY SINIR AĞLARINDA PARAMETRE KUANTALAMA ETKİLERİNİN TEORİK OLARAK TAHMİNİ ÖZET Gauss Potansiyel İşlevli Yapay Sinir Ağlarının donanım gerçeklemelerinde ağ parametrelerinin sayısal olarak ifade edilmesi sonucu parametrelerin gerçek değerlerinden sapmasından kaynaklanan kuantalama hatası etkileri araştırılmış ve bu etkilerin önceden tahmin edilmesini sağlayacak teorik yaklaşımlar ortaya konulmuştur. Bu amaçla tek giriş, tek çıkış ve Gauss potansiyel işlevli düğümlerin oluşturduğu bir adet gizli katmana sahip Gauss Potansiyel İşlevli Yapay Sinir Ağı örnek olarak ele alınmıştır. Ağ, Düşüm Azaltma Yöntemi kullanılarak işlev üretici olarak eğitilmiştir. Benzetişimler kulanılarak, Gauss potansiyel işlev parametrelerinden ortalama değer ve standart sapma değişkenleri ile çıkış kollarındaki ağırlık değerleri, 16-bitlik kuantalamaya kadar ağ çıkışı için hesaplanan yüzde hata sonuçları, teorik yöntemlerle elde edilen yüzde hata sonuçlarıyla grafiksel olarak karşılaştınlmıştır. Sonuç olarak, ağ çıkışındaki yüzde hatanın kuantalamada kullanılan bit sayısı ile nasıl değiştiği ortaya konmuş, çıkışta en fazla hataya neden olan parametre sıralaması verilmiştir. Ayrıca, yüzde hata oram verilen bir Gauss Potansiyel îşlevli Yapay Sinir Ağının, bu başarıyı ortaya koyabilecek en düşük kuantalama bit sayısının her bir parametre için birden fazla şekilde belirlenebileceği ortaya konulmuştur. IV THEORETICAL PREDICTION OF PARAMETER QUANTIZATION EFFECTS IN GAUSSIAN POTENTIAL FUNCTION NEURAL NETWORKS ABSTRACT In hardware implementations of Gaussian Potential Function Neural Networks (GPFN), because of the techniques used in parameter storage, deviation from ideal network parameters is inevitable, resulting in loss of accuracy. Network parameter quantization is one of the techniques used in parameter storage. In order to predict the inaccuracy resulting from parameter quantizaton in Gaussian Potential Function Neural Networks, theoretical approaches have been proposed. For this purpose, one-input one-output GPFN with one hidden layer has been trained with the Gradient Descent Algorithm as a function approximator. After the training, the network parameters (which are the means and standard deviations of the hidden units and the connection weights) are quantized with up to 16-bit quantization to observe the percentage error on network output stemming from parameter quantization. Then, the results obtained from simulations have been compared with results of theoretical approaches graphically and it has been found that the results of theoretical approaches coincide with simulation results. Consequently, the behavior of the network output has been given with combined and separate parameter quantizations. Moreover, given the percentage error of the network, it has been proposed that the minimum number of bits for each parameter quantization could be determined based on the theoretical results.
Collections