Optimization of convolutional neural networks via graphic cards for centralized data

Abstract

Bu tezde, MNIST veri setinde elde edilen dijitallestirilmiş el yazısı numaralar vesonuçlarının, ayrıştırıcılığı yüksek özniteliklerinin bulunması için çoklu grafik işlembirimi (GİB) kullanan sistemler için optimize edilmiş yeni bir yaklaşım tasarımıhedeflenmiştir.Bu çalışmada evrişimsel sinir ağı (ESA) yöntemi ile dijitalleştirilmiş el yazısısınıflandırma yöntemi üç bölümde ele alınmıştır. İlk bölümde naif evrişimsel sinirağının grafik işlem birimine uygulanması ile sınıflandırma elde edilmiştir.İkinci aşamada grafik işlem birimleri için işlem katmanları paralelleştirilerek veverinin paralel işlem katmanları için ayarlanıp eniyilenmiş bellek erişim şablonuyaklaşımla sınıflandırma hedeflenmiştir.Son aşamada ise yöntemin birden fazla grafik işlem birimi üzerinde çalışması içinyöntemde geliştirmeler yapılmıştır. Bu aşamada amaç, kullanılan grafik işlem birimisayısı ile ters orantılı olarak evrişimsel sinir ağının eğitim süresinde gelişimsağlamaktır.

In this thesis, it is aimed to design a new approach optimized for systems that usemultiple graphics processing units (GPU) in order to find highly discriminativeattributes of digitized handwritten numbers obtained from MNIST dataset and theirresults.In this study, the convolutional neural network (CNN) method and digitizedhandwriting classification method are discussed in three sections. In the first part, theclassification is obtained by implanting the naive convolutional neural network intothe graphic processing unit.In the second stage, the process layers for graphic processing units are parallelizedand the data is adjusted for parallel processing layers and the classification is aimedwith optimized memory access pattern approach.In the last stage, the method has been improved to work on more than one graphicprocessing unit. The aim of this stage is to improve the education time ofconvolutional neural network inversely proportional to the number of graphicprocessing units used.