Geriye yayma tipindeki yapay sinir ağlarının stokastik veriyi işlemesinin çeşitli yönleri üzerine

Abstract

ÖZET Doktora Tezi GERİYE YAYMA TİPİNDEKİ YAPAY SİNİR A?LARININ STOKASTİK VERİYİ İŞLEMESİNİN ÇEŞİTLİ YÖNLERİ ÜZERİNE NİHAT YILDIZ Cumhuriyet Üniversitesi Fen Bilimleri Enstitüsü Fizik Ana Bilim Dalı Danışman: Prof. Dr. Rauf Emirov Bu çalışmada stokastik bir ortamdaki Geriye Yaymalı Yapay Sinir Ağlan (GYYSA) nın performansının aşağıdaki yönleri FORTRAN 77 programlama dilinde orijinal olarak yazılan programlar aracılığıyla gerçekleştirilen bilgisayar simülasyonlarıyla araştırıldı. (i) Çok Boyutlu Normal Dağılım (ÇBND) ve ÇBND'den farklı diğer bazı dağılımlardan üretilen verinin YSA tarafından asimptot altı (n:(gözlem sayısı)<100) ve asimptotik (n=250) bölgede dönüştürülme yeteneği. (ii) Gizli tabaka nöronu sayısının dönüştürme yeteneğine etkisi (iii) Verilen bir rxy korelasyon yapısı ile (X.input ve Y:hedef vektörü) YSA nın hata fonksiyonunu minimize eden final ağırlık vektörleri bileşenlerinin korelasyonları arasındaki ilişki. Asimptot altı bölgede verilen bir rxy için çok sayıda veri matrisinin kullanılması nedeniyle standart GYYSA nın düşük yakınsama hızını yenmek için literatürde az tanınan Genişletilmiş Delta Bar Delta Metodu (GDBDM) kullanıldı. GDBDM stokastik bir ortamda YSA literatüründe ilk kez bu çalışmada kullanıldı. txy sıfırdan bire doğru arttıkça YSA nın ÇBND verisini dönüştürme yeteneğinin kesin olarak iyileştiği analitik olarak türetildi ve deneysel olarak kanıtlandı. Bundan başka, asimptotik limitte korelasyon yapılarının tümü için YSA hata bileşenlerinin (dizilerinin) teorik hata limitlerine başarıyla yakınsadıkları gözlendi. Ayrıca ÇBND'den farklı dağılımlardan gelen veriler içinde YSA nın dönüştürme yeteneğinin teorik öngörülerle (White (1989a)) uyum içinde olduğu gözlendi. Bu gözlemlerin ve GY ağlarının rasgele bir çevredeki dönüştürme yeteneğine ilişkin bugüne kadar deneysel bir çalışma olmaması gerçeğinin bir sonucu olarak şu söylenebilir. Bu çalışma GY ağlarının stokastik bir ortamdaki dönüştürme becerisinin araştırılması için deneysel olarak öncü bir adım atmıştır. Verilen bir rxv korelasyon yapısı ile YSA nın hata fonksiyonunu minimize eden final ağırlık vektörlerinin bileşenlerinin korelasyonları arasında özellikle rxY=0 ve rxr=l durumlarında benzerlikler olabileğine ilişkin sonuçlar elde edildi. YSA nnı stokastik bir ortamdaki genelleştirme yeteneğinin yeterince iyi olduğu çok sayıda korelasyon yapısı için gözlendi.. Anahtar Sözcükler: Yapay sinir ağlan, Standart geriye yayma metodu, Genişletilmiş delta bar delta metodu, Stokastik veri, Korelasyon yapısı, Dönüştürme yeteneği, Asimptotik davranış. III

SUMMARY Ph.D. Thesis ON THE BACK PROPAGATION TYPE NEURAL NETWORK'S PROCESSING OF VARIOUS ASPECTS OF STOCHASTIC DATA NİHAT YILDIZ Cumhuriyet University Graduate School of Natural and Applied Sciences Department of Physics Supervisor: Professor Dr. Rauf AMIROV In this work the following aspects of the performance of Back Propagation Type Neural Network (BPNN) were investigated through computer simulations carried out by means of an original program written in the programming language FORTRAN 77. (i) At subasymptotic region (where n (number of observations)^ 100) and at asymptotic region (n=250) network's processing ability of data generated from Multivariated Normal Distribution (MVND) and that of generated from some other (different from MVND) distributions. (ii) Possible affection of the number of hidden layer neurons to the network's processing (fitting) ability. (iii) For a given correlation structure rxy (X:input and Y: target vectors) the relationship between rxy and the correlations of the components of final weight vectors which minimizes the error function of the (artificial) neural network (ANN). At subasymptotic region as we are analyzing a vast number of data matrices of a given txy in order to overcome the problem of standard BP's low convergence rate a less known BP algorithm Extended Delta Bar Delta Method (EDBDM) was employed. In ANN literature this work is the first which has ever used EDBDM in a stochastic context. It was analytically derived and experimentally proved that network's fitting ability of MNVD data definitely improves as rxy approaches from zero to one. Additionally, for all correlation structures employed it was observed that the error components of the ANN have been successfully converged to their theoretical limits. Furthermore, it has been another observation that the for data from some other (non-normal) distributions network's fitting ability is well in line with theoretical predictions. As a result of these observations and of the fact that no experimental study related to BP network's fitting ability in a random environment has appeared so far, it can be said that this work took a pioneering experimental step for the investigations of BP network's fitting capability in a stochastic medium. Some experimental results that support that there can be some similarities (in particular in Txy=1 and rxy^O cases) between for a given rxy (correlation structure) and the components of weights minimizing the error function have been obtained. It was also observed that the generalization ability of the network is sufficiently good in a stochastic medium. Key Words: Artificial neural network, Standard Back Propagation Method, Extended Delta Bar Delta Method, Stochastic data, Correlation structure, Fitting (or transformation) ability, Asymptotic behaviour. IV