Derin öğrenme yöntemleri için doğrusal olmayan aktivasyon fonksiyonlarının geliştirilmesi

Abstract

Derin öğrenme modellerinin çalışma hızının arttırılması, yerel minimuma takılmaması, doğruluk performasının arttırılması gibi özellikleri göz önüne alınarak aktivasyon fonksiyonları geliştirilmektedir. ReLU, sigmoid ve tanjant aktivasyon fonksiyonlarının kaybolan gradyan ve negatif bölge gibi problemlerinden dolayı derin öğrenme mimarilerini eğitmek zordur. Bu tez çalışmasında, kaybolan gradyan ve negatif bölge problemlerinin üstesinden gelmek için yeni sabit parametreli RSigELU aktivasyon fonksiyonları, çekirdek tabanlı hibrit KAF+RSigELU aktivasyon fonksiyonları ve eğitilebilir parametreli P+RSigELU aktivasyon fonksiyonları önerilmiştir. Ayrıca, derin öğrenme modellerinde hiper-parametre değerleri optimize edilmeden kullanıldığında model başarı performansı çok düşük olmaktadır. Hiper-parametre optimizsayonu, derin öğrenme mimarilerinin, hesaplama maliyetlerinin düşürülmesini ve doğruluk performaslarının arttırılmasını sağlanmaktadır. Tez çalışmasında, derin öğrenme mimarilerinin hiper-parametrelerinin optimizasyonu için sezgisel yöntemler kullanılmıştır. Çeşitli veriler üzerine gerçekleştirilen deneysel değerlendirmede, hiper-parametre optimizasyonu yapılmıştır ve literatürde bilinen ReLU ve swish aktivasyon fonksiyonlu derin öğrenme mimarilerinin sınıflandırma başarısı değerlendirilmiştir. Önerilen sabit parametreli RSigELU, çekirdek tabanlı KAF+RSigELU ve eğitilebilir P+RSigELU aktivasyon fonksiyonları ile literatürdeki çalışmalara göre daha yüksek başarı elde edilmiştir. Ayrıca hiper-parametre optimizasyonu için kullanılan yöntemler ile derin öğrenme modellerinin başarımları arttırılmıştır.

Activation functions are developed by taking into account the features of deep learning models, such as increasing the working speed of the model, not getting stuck in the local minimum, and increasing the accuracy performance. Deep learning architectures are difficult to train due to the problems of ReLU, sigmoid and tangent activation functions such as vanishing gradient and negative region. In this thesis study, new fixed parameter activation functions (RSigELU), kernel-based hybrid activation functions (KAF+RSigELU), and trainable P+RSigELU activation functions are proposed to overcome these problems. In addition, when the hyper-parameter values are not optimized in deep learning models, the model success performance is very low.. Hyper-parameter optimization enables deep learning architectures to reduce computational costs and increase accuracy performance. In the thesis study, heuristic methods have been used for optimization of hyper-parameters of deep learning. In the experimental evaluations on various datasets, hyper-parameter optimization was performed and classification success of ReLU and swish activation functions was evaluated. The proposed fixed parameter RSigELU, kernel-based KAF+RSigELU, and trainable P+RSigELU activation functions outperformed other activation functions. In addition, the methods, used for hyper-parameter optimization, increased the performance of the deep learning models