Bayesian learning for cellular neural networks

Abstract

Hücresel Sinir Ağları ortaya atıldıkları 80'lerden beri aktif bir araştırma konusu oldular. O zamandan beri birkaç farklı eğitim algoritmaları önerildi. Hepsinin kendilerine göre avantajları ve dezavantajları bulunmaktadır. Bunların çoğu ağ parametrelerini bulmak için olasılıksal olmayan yöntemler kullanır. Bu tezde, Hücresel Sinir Ağları için yeni bir öğrenme metodu önerilmektedir. Bu metodun uygulanması için Ayrık-Zamanlı Hücresel Sinir Ağları kullanılmıştır. Bu yeni metod olasılıksal bir metodtur. Ağ parametrelerini kestirmek için Maximum A Posteriori kestirimi kullanılması bu metodu Bayesian öğrenme metodlarından biri yapar. Bir Hücresel Sinir Ağı aktivasyon fonksiyonundan dolayı nonlineer bir yapıdır. Bu yüzden bir Hücresel Sinir Ağının modellenmesi de nonlineerdir. Nonlineer bir sistemde Maximum A Posteriori kestirimi kullanılması bazı sorunlar üretir. Bu problemlerle baş etmek için ağ parametrelerinin kestirimi işleminde elde edilen dağılımdan gerekli örnekleri çekmek için, bir Monte Carlo Markov Chain metodu olan Metropolis-Hastings algoritması kullanılmıştır. Ağ eğitildikten sonra, bilinen algoritmalarla karşılaştırılıp eğitim aşaması test edilmiştir. Ayrık-Zamanlı Hücresel Sinir Ağları çoğunlukla görüntü işleme uygulamaları için kullanılır. Bir çok değişik uygulama, ağ yapısını değiştirmeden, ağ parametrelerini değiştirerek yapılabilir. Bu çeşitlilikten bir kaç uygulama alınıp, kestirilmiş parametreler ve Hücresel Sinir Ağları kullanılarak bazı görüntü işleme uygulamaları tatbik edilmiştir. Bu işlemler bilgisayar modelleri ve simülasyonlar kullanılarak uygulanmıştır.

Cellular Neural Networks have been an active research field since their introduction in the late 80s. Several training algorithms are proposed since then. All have their advantages and disadvantages. Most of them uses deterministic methods to acquire the network parameters. In this thesis, a new training method is proposed for Cellular Neural Networks and Discrete-Time Cellular Neural Networks are used for implemented applications. This new method is a probabilistic method. Maximum A Posteriori estimation is used to estimate the network parameters thus making this method a Bayesian learning method. A Cellular Neural Network is nonlinear in the sense of its activation function. For the same reason modeling of a Cellular Neural Network is also nonlinear. Using Maximum A Posteriori estimation on a nonlinear system causes some problems. To cope with this problems, in the estimation process of network parameters, Metropolis-Hastings algorithm which is one of Monte Carlo Markov Chain methods is used for generating the samples needed from the resulting distribution. After the network is trained, it is tested against known algorithms to verify the training process. Discrete-Time Cellular Neural Networks are mostly used for image processing applications. Many different kind of applications can be applied using different network parameters without changing the cellular network architecture. A couple of applications are picked from this pool and using the estimated parameters, Cellular Neural Networks are used to perform some image processing algorithms. This operations are performed by computer models and simulations.