Improvement of deep neural networks by intelligent model initialization

Abstract

Yakın zamanda ulaşılması kolaylaşan yüksek paralel işlem gücü ve etiketli görsel veriden yararlanılarak derin öğrenmede kaydedilen gelişmeler görsel tanıma başarımında kayda değer ilerlemelere neden olmuştur. Bu çalışmalardan ortaya çıkan yöntemler arasından büyük miktarda etiketli veri ile denetimli eğitilen derin evrişimsel sinir ağları çeşitli görsel görevlerde tutarlı bir biçimde en iyi sonuçları vermektedir. Buna karşın bu yöntemlerin ihtiyaç duyduğu veri miktarı gerçek dünyadaki uygulamalardaki faydalarını sınırlamaktadır. Bu çalışmada derin evrişimsel sinir ağlarını bu uç seviyedeki veri gereksinimden kurtarmanın yollarını araştırdık. İlk olarak, ImageNet öneğitiminden aktarılan temsillerin hedef veri dağılımı oldukça farklı olsa bile aşırı uyumu azalttığını gösterdik. Buna ek olarak çözümsel olarak tasarlanmış modellerle rassal olarak eğitim verisi üretmek için iki yaklaşım önerdik. Önerilen ilk yaklaşım, tanınacak hedef örüntülerin düşük seviyeli olduğu durumlarda kullanılabilir olan Gestalt ilkelerine dayalı olarak tamamen yapay eğitim verisi üretilmesidir. Buna karşılık eğer tanınacak hedef örüntü yüksek seviyeli ise eğitim verisi ImageNet benzeri mevcut bir veri kümesinden türetilir. Çözümsel olarak tasarlanmış unsurlardan faydalanan bu iki yöntem modele bilgi yerleştirerek veri bağımlılığını azaltmaktadır.

Developments in deep learning leveraging the recent abundance of parallel computational power and visual data have resulted in significant advances in visual recognition performance. Among the methods that have emerged from this work, deep convolutional neural networks trained with a large amount of data in a supervised manner has been able to consistently deliver state of the art performance in various visual tasks. However, the amount of data this method requires limits its usefulness in real-world applications. In this study, we investigate methods to relieve deep convolutional neural networks from extreme data dependency. First, we show that transferring representations from ImageNet pretraining reduces overfitting even if the target data distribution is significantly different. In addition, we propose two approaches to stochastically generate training data using analytically designed models. The first approach is to generate entirely synthetic training data based on Gestalt principles, which is suitable when the target pattern to be recognized is low-level. Alternatively, if the target pattern to be recognized is high-level, training data is derived from an existing dataset such as ImageNet. By utilizing analytically designed elements, these two approaches inject knowledge to the model and reduce data-dependency.