Memory based function approximation using neural networks

Abstract

ÖZET Bu çalışmada belleğe dayalı modellerin, hata geri yayma ağlarının ve dairesel bakışımlı taban işlev ağlarının basanları işlev yaklaşıklaştırma, el yazımı rakam tanıma, nükleer reaktör denetimi ve ses tanıma uygulamalarında karşılaştırıldı. En yakın komşu sınırlandırıcı modelinde olduğu gibi deneyimlerini doğrudan parametrelerinde saklayan sistemler belleğe dayalı modeller olarak adlandırılmıştır. Bahsedilen modellerin karşılaştırılmasında, genelleme yeteneği, ağ büyüklüğü ve öğrenme hızı ölçüt olarak alındı. Genelleme yeteneği, işlev yaklaşıklaştırma sorunlarında ortalama karesel yanılgı ölçütü ile değerlendirilirken, sınıflandırma sorunlarında deney kümesindeki doğru sınıflandırılan örneklerin sayısıyla belirlendi. Öğretici bir örnek olan işlev yaklaşıklaştırma sorununda, genelleme yeteneği ve ağ büyüklüğü açılarından belleğe dayalı modellerin, hata geri yayma ve dairesel bakışımlı taban işlev ağlarından daha başarısız olduğu görüldü. Buna karşın gerçek uygulamalarda, belleğe dayalı modeller şaşırtıcı derecede başarılı bulundu. Belleğe dayalı modellerin basitliğin, hızlı ve iyi öğrenmenin önemsendiği ancak bellek kullanımının kısıtlayıcı olmadığı uygulamalarda kullanılmalısı gerektiği sonucuna vardık.

IV ABSTRACT We compared performances of memory based models, backpropagation networks and radial basis function networks on several applications; a one dimensional function approximation task, recognition of handwritten digits, nuclear reactor control and phoneme recognition. Systems which directly store experiences in their parameters, like the nearest neighbor classifier, are referred to as memory based models. Our criteria for comparing the mentioned models were generalization ability, network size and learning speed. For approximation problems generalization ability was measured by the well known mean squared error criterion on a test set of unseen patterns during training whereas for classification tasks generalization ability was determined by the number of correctly classified samples of the test set. On the didactic function approximation problem memory based models were found to be inferior to backpropagation nets and radial basis function networks in both respects, generalization ability and network size. Nevertheless, on real world applications we found memory based models to be surprisingly successful. We conclude that memory based schemes be employed when a simple, fast learning, and accurate scheme is desired and memory is not at a premium.