Covolutional neural networks based on non-euclidean operators

Abstract

Sinir ağı kapsamında, besleme-iletme pasosu geçişindeki nokta bazlı işlemler, çarpma işlemi gerektirmeyen bir l1-norm indükleyici operatör ile değiştirildi. AddNet denilen sinir ağı, aykırı değerlere karşı dayanıklılık gibi l1-norma dayalı öznitelik çıkarma şemalarını özümsemektedir. Ayrıca, besleme-iletme pasoları daha az çarpma işlemleri kullanarak gerçekleştirilebilir, bu da enerji verimliliğini ima eder. L1-norm indükleyici operatör, neredeyse her yerde işlenenlerine göre türevlenebilir. Bu nedenle, standart Backpropagation algoritması ile eğitilecek olan sinir ağlarında kullanması mümkündür. AddNet, zarar gradyanlarının eğitim sırasında patlamaması için ölçekleme (çarpımsal) bir yan gerektirir. Çarpımsal yanı için farklı seçenekler sunuyoruz: eğitilebilir, doğrudan ilişkili ağırlıklara bağlı, veya sabit. Ayrıca, o operatörün seyrek bir varyantını sunuyoruz sunuyoruz ve böylelikle, kısmi veya tam benirizasyona ulaşabiliyoruz.Denemelerimizi MNIST ve CIFAR-10 veri setleri üzerinden yürüttük. AddNet, ortalama bir CNN'den 0.1% daha az doğru sonuç elde edebilir. Ayrıca, eğitilebilir çarpımsal yanı, ağın hızla yakınsamasına yardımcı olur. Yükleri ikili olan diğer sinir ağlarıyla karşılaştırıldığında, AddNet daha iyi sonuçlar elde eder; eğitildikten sonra, işaret bilgilerini tutarken tam veya neredeyse tam ağırlığı büyüklüğünde budama yaparken bile. CIFAR-10 üzerinde deneylere gelince, AddNet ortalama bir CNN'den $5/%$ daha az doğruluğa ulaşıyor. Yine de AddNet, verilerinin dürtüsel gürültü nedeniyle bozulmasına karşı daha titizdir ve dürtüsel gürültünün bulunduğu yerde ortalama bir CNN'den daha iyi performans gösterir, küçük gürültü seviyelerinde olsa bile.

Dot product-based operations in neural net feedforwarding passes are replaced with an l1-norm inducing operator, which itself is multiplication-free. The neural net, which is called AddNet, retains attributes of l1-norm based feature extraction schemes such as resilience against outliers. Furthermore, feedforwarding passes can be realized using fewer multiplication operations, which implies energy efficiency. The l1-norm inducing operator is differentiable w.r.t its operands almost everywhere. Therefore, it is possible to use it in neural nets that are to be trained through standard backpropagation algorithm. AddNet requires scaling (multiplicative) bias so that cost gradients do not explode during training. We present different choices for multiplicative bias: trainable, directly dependent upon the associated weights, or fixed. We also present a sparse variant of that operator, where partial or full binarization of weights is achievable.We ran our experiments over MNIST and CIFAR-10 datasets. AddNet could achieve results that are 0.1% less accurate than a ordinary CNN. Furthermore, trainable multiplicative bias helps the network to converge fast. In comparison with other binary-weights neural nets, AddNet achieves better results even with full or almost full weight magnitude pruning while keeping the sign information after training. As for experimenting on CIFAR-10, AddNet achieves accuracy $5/%$ less than a ordinary CNN. Nevertheless, AddNet is more rigorous against impulsive noise data corruption and it outperforms the corresponding ordinary CNN in the presence of impulsive noise, even at small levels of noise.