LMS based sparse adaptive filters: From 1D to 2D representations

Abstract

Sayısal sinyal işlemenin gücünün artışıyla, uyarlanır filtreme çok daha yaygın hale gelmiştir ve şu sıralar; mobil telefonları, diğer haberleşme cihazları ve tıbbi ekipmanlar ve dijital kameralar gibi elektronik cihazlarda sıklıkla kullanılmaktadır. Uyarlanır filtre giriş ve çıkış sinyali arasındaki ilişkiyi hesaplamalı olarak modelleyen sistemdir. Uyarlanır filtreler katsayılarını bazı adaptif optimizasyon algoritmalarına dayanarak iteratif olarak ayarlar veya modifiye ederler. Hata sinyalini minimize etmeye yarayan cost fonksiyonu, süzgeç performansını optimize etmeye yarayan anahtar kriterdir. Bu tezde bir ve iki boyutlu En Küçük Kare algoritmasının performansını iyileştirecek farklı yeni algoritmalar önermekteyiz. Karışık normlu LMS algoritmasının çözümü ile başlamaktayız. İlk algoritmamız karışık norm'lu LMS algoritmasına dayalıdır. Sistem seyrekliği, MN-LMS algoritmasının cost fonksiyonuna l1-norm ceza terimi eklenerek ortaya çıkarılmaktadır. Bu terim, sıfır veya sıfıra yakın filtre bileşenlerinin sıfıra çekilmesine hızlı bir şekilde olanak verir. Buna rağmen, sistem sparse'a yakın ya da tamamen sparse değilse çalışmamaktadır. Sistemin tamamen seyrek olmaması durumunun getirdiği sınırlamayı aşmak için MN-LMS algoritmasının cost fonksiyonunda l0-norm penaltısının bir yaklaşımını kullanan başka bir algoritma önermekteyiz. Bu yöntem, hiç seyrek olmayan sistemlerde bile yüksek performans sağlamaktadır. İki boyutlu LMS algoritmasının performansını iyileştirmek için cost fonksiyonuna bir l1-norm seyreklik farkındalık terimi ekleyerek yeni iki boyutlu (2D) sıfıra çeken en küçük kare algoritması (ZA-LMS) öneriyoruz. 2 boyutlu ZA-LMS algoritmasının yakınsama analizi ve denge kriteri yapılmıştır. MN-LMS algoritmasının yakınsama analizi çıkarılmış tüm algoritmalar deneysel olarak test edilmiştir. Farklı parametreler, sinyalin gürültüye oranı, seyreklik ve süzgeç uzunluğu, kullanılarak çok miktarda deney gerçekleştirilmiştir. Bu çalışmada, farklı gürültü çeşitleri ve farklı parametreler kullanılarak bozulmuş görüntüler önerilen iki boyutlu sıfıra çeken LMS algoritmasının iki boyutlu standart LMS algoritmasıyla kıyaslanması için kullanılmıştır.

Adaptive filters are commonly and regularly used nowadays in different gadgets such as mobile phones and devices, medical equipment and digital cameras. This can be easily justified due to the increase of influence of digital signal processors. Example of the necessity for using adaptive filters is in the telecommunications field, where we can face many sources of echo caused by long distance communications or hands-free voice conversation. Another example is in computer vision applications, where the received images can be noisy and thus, need to be enhanced and filtered form such an unwanted noise.The adaptive filter is a system that computationally models the relation between the input and output signal. The adaptive filter modifies or adjusts its coefficients iteratively based on some adaptive optimization algorithm. The cost function is the key or the criterion for optimizing the filter performance which will work on minimizing the error signal. In this dissertation, new different algorithms for improving the performance of one-dimensional and two-dimensional least mean square (LMS) algorithm are proposed. This study started by providing the derivation of the convergence analysis of the mixed-norm least mean square (MN-LMS) algorithm. Our first proposed algorithm is based on MN-LMS algorithm. The proposed algorithm exploits the sparsity of the system by adding l1-norm penalty term to the cost function of the original MN-LMS algorithm. The new term enables us to attract the zero and near-to-zero filter weights to the zero value in a faster way. However, when the targeted system is near or exactly non-sparse, the performance of this algorithm drops. To overcome the limitation of this algorithm when the system is near or exactly non-sparse another algorithm that uses an approximation of l0-norm penalty term in the cost function of the original MN-LMS algorithm is proposed. This provides high performance even with completely non-sparse systems.For improving the two-dimensional least mean square (2D-LMS) algorithm performance, a new two-dimensional zero-attracting least mean square (2D ZA-LMS) adaptive filter is proposed by imposing a sparsity aware l1-norm penalty term in the cost function of the original 2D-LMS algorithm. The convergence analysis of the 2D ZA-LMS algorithm is presented and stability criterion is also derived.Beside the mathematical derivation for the convergence analysis of the provided algorithms, all the algorithms are experimentally tested. In this study, extensive experiments are conducted using different parameters and scenarios such as signal-to-noise-ratio (SNR), sparsity level and filter tap length. Images corrupted with different noise types and different parameters are used to test the proposed 2D ZA-LMS algorithm against the 2D-LMS algorithm.