Aşırı öğrenme makineleri ile dinamik sistem modelleme

Abstract

Sinir ağları (SA) birçok mühendislik ve bilim problemiyle ile ilgili çözüm üretmek için kullanılırlar. Bu mimarilerin eğitim için kullanılan algoritmaları, genellikle yinelemeli algoritmalardır. İleri beslemeli sinir ağlarında eşik ve bağlantı ağırlık değerlerinin belirlemek için türev tabanlı yinelemeli algoritmalar kullanılır. Türev tabanlı yinelemeli algoritmaların eğitim süresinin yavaş olması yeni arayışların başlamasına sebep olmuştur. Bu yavaşlığın üstesinden gelmek için aşırı öğrenme makineleri (AÖM) kavramı önemli bir gelişim göstermiştir. AÖM tek gizli katmanlı ileri beslemeli ağlar için geliştirilmiş bir öğrenme algoritmasıdır. AÖM öğrenme algoritması eğitim süresi açısından büyük bir üstünlük sunsa da genelleme yeteneği olarak aynı başarımı gösterdiği söylenemez. İşte bundan dolayı geleneksel aşırı öğrenme makinelerinin bir araya gelerek oluşturduğu Meta-AÖM adı verilen yeni bir öğrenme algoritması geliştirilmiştir.Bu çalışmamızda, Meta-AÖM ile eğitilen yapay sinir ağlarının dinamik sistem modelleme başarımı incelenmiştir. Literatürden seçilen yedi farklı dinamik sistem için bu çalışmada kullanılmak üzere eğitim ve test veri kümeleri hazırlanmıştır. Eğitim kümeleri kullanılarak, her bir dinamik sistem için AÖM eğitim yöntemiyle Meta-AÖM sistem tanımlama modeli elde edilmiştir. Her bir dinamik sistem için eğitim evresi ile oluşturulan Meta-AÖM modellerinin test veri kümeleri ile de genelleme başarımları elde edilmiştir. Modelleme Meta-AÖM için farklı ağ parametreleriyle eğitim ve test veri kümeleri benzer şekilde kullanılarak tekrarlanmış, elde edilen sonuçlar ile istatiksel karşılaştırma yapılmıştır. Elde edilen sonuçlara dayalı olarak, önerilen yaklaşımın başarım değişiklikleri gösterilmiştir. Sonuç olarak, Meta-AÖMyi yapılandırmak için hücre/düğüm sayısı ve gruptaki AÖM sayısı seçimi hakkında genel bir değerlendirme yapılıp öneriler sunulmuştur.

Neural networks (NN) are used to find solutions to many engineering and science problems. The algorithms used for training these architectures are usually iterative algorithms. Derivative-based iterative algorithms are used to determine threshold and linkage weight values in feedforward neural networks. Derivative based iterative algorithms have a slow training period, which led to new searches. To overcome this slowness, the concept of extreme-learning machines (ELM) has made significant progress. ELM is a learning algorithm developed for single hidden layer feedforward networks. Although the ELM learning algorithm offers a great advantage in terms of training time, it cannot be said to have the same performance as generalization ability. This is why a new learning algorithm called Meta-ELM has been developed by combining traditional extreme-learning machines.In this study, dynamic system modeling performance of artificial neural networks trained with Meta-ELM was investigated. Training and test data sets were prepared for seven different dynamic systems selected from the literature to be used in this study. Meta-ELM system identification model was obtained for each dynamic system by using ELM training method. For each dynamic system, generalization achievements have been obtained with the test datasets of Meta-ELM models created with training phase. Modeling For the Meta-ELM, training and test datasets were repeated with different network parameters and the results were compared with the statistical results. Based on the results obtained, the performance changes of the proposed approach are shown. As a result, a general evaluation was made about the selection of the number of cells / nodes and number of ELMs in the group in order to construct the Meta-ELM and suggestions were made.