Weight quantization for multi-layer perceptrons
- Global styles
- Apa
- Bibtex
- Chicago Fullnote
- Help
Abstract
ÖZET ÇOK KATMANLI YAPAY SİNİR AĞLARI İÇİN AĞIRLIK NİCEMLEMESİ Bu çalışmada çok katmanlı yapay sinir ağlarının etkin bir şekilde oluşturulması için parametrelerinin çeşitli metotlarla nicemlemesi tartışılmaktadır. Bu metotlar para metreleri sabit sayılar gibi değil bir Gauss karışım dağılımından çekilmiş rassal değişkenler gibi düşünür ve herbiri bu karışım dağılımı üzerinde çeşitli varsayımlar yapar. Bunların içinde özel haller olarak düzenli nicemleme ile A;-merkezli öbekleme vardır. Paramet relerin dağılımının öğrenilmesi ile çok katmanlı yapay sinir ağının eğitiminin birleştirilme sinde `esnek ağırlık paylaşımı (soft weight sharing)` kullanılması önerilmektedir. Bağlanım ve sınıflandırma veri kümeleri üzerindeki benzetim sonuçları çeşitli nicemleme metot larını karşılaştırır ve dağılım parametrelerinin eğitiminin yapay sinir ağı parametrelerinin eğitimi ile birleştirilmesinin üstünlüğünü göstermektedir. IV ABSTRACT WEIGHT QUANTIZATION FOR MULTI-LAYER PERCEPTRONS In this work various methods for quantizing the weights of a multi-layer percep tion for efficient VLSI implementation is discussed. These methods consider weights not as constant numbers but as random variables drawn from a Gaussian mixture distribution where each of these methods make a certain assumption about the compo nents of the mixture. These include as special cases uniform quantization and /s-means clustering. It is proposed to use soft weight sharing in learning the distribution of the weights coupled with the training of the multi-layer perceptron. Simulation results on regression and classification data sets compare various quantization schemes and demonstrate the advantage of coupled training of distribution parameters.
Collections