Implementation of the backpropagation algorithm on İPSC/2 hypercube multicomputer system

Abstract

ÖZET GERİ YANSITMA ALGORİTMASININ İPSC/2 HYPERCUBE PARALEL İŞLEMCİSİNDE GERÇEKLEŞTİRİLMESİ Deniz Ercoşkun Bilgisayar ve Enformatik Mühendisliği Yüksek Lisans Tez Yöneticisi: Y. Doç. Dr. Kemal Of lazer Tarih 1990 Geri yansıtma, bazı yapay sinir ağı modelleri için geliştirilmiş bir öğrenme al goritmasıdır. Bu algoritma, özellikle bu tip sinir ağı modellerinin eğitilmesinde kullanılmaktadır. Temel geri yansıtma algoritmasının yavaş yakınsaması bu algoritmanın kullanımını küçük sinir ağlarıyla sınırlandırmıştır. Bu tez çalış masında geri yansıtma algoritması hypercube paralel işlemcisinde gerçekleştirilmiş ve bir dizi yapay sinir ağma uygulanmıştır. Bu çalışmanın diğer bir amacı, büyük yapay sinir ağları için bir simulasyon ve öğretim ortamı geliştirilmesidir. iv

ABSTRACT IMPLEMENTATION OF THE BACKPROPAGATION ALGORITHM ON iPSC/2 HYPERCUBE MULTICOMPUTER SYSTEM Deniz Ercoşkun M.S. in Computer Engineering and Information Science Supervisor: Assist. Prof. Dr. Kemal Of lazer December 1990 Backpropagation is a supervised learning procedure for a class of artificial neural networks. It has recently been widely used in training such neural networks to perform relatively nontrivial tasks like text-to-speech conversion or autonomous land vehicle control. However, the slow rate of convergence of the basic backpropagation algorithm has limited its application to rather small networks since the computational requirements grow significantly as the network size grows. This thesis work presents a parallel implementation of the backpropagation learning algorithm on a hypercube multicomputer system. The main motivation for this implementation is the construction of a parallel training and simulation utility for such networks, so that larger neural network applications can be experimented with. ni