Biyomedikal işaretlerin yeni bir adaptif aktivasyon fonksiyonlu yapay sinir ağı ile sınıflandırılması

Abstract

Bu tez çalışmasında, yeni bir yapay sinir ağı (YSA) yaklaşımı olarak, gizli katmandüğümlerinde serbest parametreli adaptif aktivasyon fonksiyonu kullanan adaptif aktivasyonfonksiyonlu YSA (AAFYSA) algoritması tasarlanmıştır. Tasarımı yapılan bu algoritmageliştirilmiş, Matlab programlama dili ile üç tane AAFYSA modellerinin (AAFYSA-1,AAFYSA-2 ve AAFYSA-3) ve geleneksel çok katmanlı YSA (ÇKYSA) algoritmasınınyazılımı gerçekleştirilmiştir. ÇKYSA yazılımının yapılmasında AAFYSA ile eşit koşullardakarşılaştırma amaçlanmıştır. AAFYSA ve ÇKYSA yazılımlarının gerçekleştirilmesinde, YSAformülasyonlarına uygun biçimde yeniden komutlar ve fonksiyonlar oluşturularakprogramları yazılmıştır. AAFYSA modelleri arasındaki fark gizli katmanlarında kullanılanadaptif aktivasyon fonksiyonlarıdır. AAFYSA-1 modelinin gizli katman düğümlerinde serbestparametreli sigmoid fonksiyonu, AAFYSA-2 modelinin gizli katman düğümlerinde iseserbest parametreli sigmoid fonksiyonu ile serbest parametreli sinüs fonksiyonunun toplamıkullanılmıştır. Morlet dalgacık fonksiyonuna serbest parametreler ekleyerek YSA'nınaktivasyon fonksiyonu olarak kullanma fikri ilk defa bu çalışmada ileri sürülerek AAFYSA-3modelinin gizli katman düğümlerinde kullanılmıştır. Geliştirilen YSA'lar öğrenme açısındankarşılaştırıldığında ağ bilgileri, geleneksel ÇKYSA'da ağırlık vektörlerinde saklanırkenAAFYSA'da hem ağırlık vektörlerinde hem de aktivasyon fonksiyonunun serbestparametrelerinde saklanmaktadır.Tasarlanıp geliştirilen ve yazılımları yapılan AAFYSA modelleri ve gelenekselÇKYSA modeli sınıflama problemlerine uygulanmıştır. Uygulamaya ilk olarak, standart birproblem olarak kabul edilen XOR problemiyle başlanmış, daha sonra, AAFYSA modelleri ileilk defa EKG ve EEG verilerinin sınıflandırılması problemleri üzerinde durulmuştur. AyrıcaEEG verilerinde özellik çıkartılmasının AAFYSA başarısına etkisi araştırılmıştır.Yapılan uygulamalarda, genelde % 99.9 eğitme başarısı hem ÇKYSA hem deAAFYSA modelleri için elde edilmiştir. Fakat AAFYSA kullanıldığı zaman, ağın eğitmezamanının ve iterasyon sayısının geleneksel ÇKYSA'ya göre daha az olduğu görülmüştür.Ayrıca, aynı eğitme ve test başarısına AAFYSA'nın gizli katmanında daha az düğüm sayısıile ulaşılabilmiştir. Sonuç olarak AAFYSA'nın ÇKYSA'ya göre hedefe daha iyi ve hızlıyakınsadığı, bunda da aktivasyon fonksiyonunun adaptif olmasının etkili olduğu gözlenmiştir.Anahtar Kelimeler: Yapay sinir ağları, adaptif aktivasyon fonksiyonu, sınıflama,AAFYSA, XOR, EKG, EEG.

In this study, a neural network (NN) algorithm was proposed as a new neuralnetwork approach in which free parameter adaptive activation function (NNAAF) is used. Thedesigned algorithm was developed to obtain three NNAAF?s and for comparison, traditionalmulti layer NN (MLNN) models via MATLAB programming language. New commands andfunctions were implemented in NN formulations in developing the models. NNAAF modelsdiffer from each other in their adaptive activation functions of hidden layers. Free parametersigmoid function was used in hidden layer neurons of NNAAF-1 model, while free parametersinus function was used additionally in NNAAF-2. In the third model (NNAAF-3) activationfunction was obtained by inserting free parameters into Morlet wavelet function, which wasfirst applied in this study. Comparison of the developed models in terms of learningmechanism indicated that network information is kept in weight vectors in traditional MLNN,while it is kept in both weight vectors and in free parameters of activation function inNNAAF?s.The developed models were applied to different types of classification problemsincluding XOR problem, as a standard classification, ECG and EEG signals. Additionally,effects of feature extraction on NNAAF performance were studied for EEG data.For all models, about 99.9% training performance was achieved. NNAAF modelsdecreased training time and number of iterations considerably as compared to traditionalMLNN model. Furthermore, the same training and test performance was achieved with lessnumber of neurons in hidden layer of NNAAF. As a result, it was observed that NNAAFconverges to the target better and faster than MLNN mainly due to its adaptive activationfunction.Keywords : Artificial neural network, adaptive activation function, classification,NNAAF, XOR, ECG, EEG.