Steady state and transient MSE analyses of adaptive mixture methods

Abstract

Bu tez çalışmasında, bilinmeyen bir sistemi modellemek için paralel olarak çalışan birdenfazla uyarlanır süzgecin çıktılarını birleştiren uyarlanır birleşim metotları incelenmektedir. Öncelikle iki farklı uyarlanır algoritmanın çıktılarını birleştiren üç farklı dışbükey birleşim metodu etüt edilmekte ve bunların kalıcı zaman ve geçici zaman performansları verilmektedir. Daha sonra Bregman ıraksaklıkları temelli olup birden fazla uyarlanır süzgecin çıktılarını birleştiren ilgin ve doğrusal birleşim metodları araştırılmakta ve bunların ortalama ve ortalama-karesel geçici zaman analizleri sunulmuktadır.İlk kısımda, istenilen ve bilinmeyen bir sistemi modellemek için paralel olarak çalışaniki uyarlanır süzgecin çıktılarını uyarlanır biçimde birleştiren dışbükey kısıtlanmış birleşim metotları araştırılmaktadır. Birçok algoritma, bilinmeyen sistem doğrusal değilken ve rastgele yürüyüş modeline göre hareket ederken, kalıcı zamanda ortalama-karesel hatalarına göre kıyaslanmaktadır. Eğer belirli algoritma parametreleri uygun biçimde seçilirse, bu algoritmaların ?evrensel? olacağı; yani kalıcı zamanda en iyi birleşen algoritmasının performansına ulaşacağı gösterilmektedir. Ayrıca bazı birleşimlerin optimal birleşim süzgecine yakınsayacağı ve bunların kalıcı zaman performanslarının en iyi birleşen algoritmasının performansından daha iyi olabileceği gösterilmektedir. Bu algoritmaların geçici zamanda ortalama ve ortalama-karesel analizleri de yapılmaktadır.İkinci kısımda, istenilen işareti modellemek için paralel olarak çalışan m adet birleşen süzgecin çıktılarını doğrusal olarak birleştiren uyarlanır birleşim metodları araştırılmaktadır. Doğrusal birleşim ağırlıklarını ilgin kısıt altında veya kısıtsız olarak eğitmek için Bregman ıraklaklıkları kullanılmakta ve bazı çarpımsal algoritmalar elde edilmektedir. Birleşim ağırlıkları üzerine bir düzgelenmemiş üstellenmiş gradient algoritması ve bir düzgelenmiş üstellenmiş gradient algoritması üreten iki farklı Bregman ıraksaklığı tanımlamak için sırasıyla düzgelenmiş göreli entropi ve göreli entropi kullanılmaktadır. Daha sonra bu algoritmaların m birleşen algoritmayı birleştirdikleri durumdaki geçici zamanda ortalama ve ortalama-karesel analizleri yapılmaktadır. Sonuçların doğruluğu ve bu algoritmaların etkinliği seyrek birleşim sistemleri için gösterilmektedir.

In this thesis, we analyze adaptive mixture methods that combine outputs of several adaptive filters running in parallel to model an unknown system. We first study three different convex combination methods that combine outputs of two adaptive algorithms and provide their steady-state and transient performances. We next investigate affine and linear combination methods based on Bregman divergences that combine outputs of several adaptive filters and present the mean and the mean-square transient analysis of these adaptive algorithms.In the first part, we investigate convexly constrained mixture methods to adaptivelycombine outputs of two adaptive filters running in parallel to model a desired unknown system. We compare several algorithms with respect to their mean square error in the steady-state, when the underlying unknown system is nonstationary with a random walk model. We demonstrate that these algorithms are universal such that they achieve the performance of the best constituent filter in the steady-state if certain algorithmic parameters are chosen properly. We also demonstrate that certain mixtures converge to the optimal convexcombination filter such that their steady-state performances can be better than the best constituent filter. We also perform the transient analysis of these updates in the mean and mean-square error senses.In the second part, we investigate adaptive mixture methods that linearly combine outputsof m constituent filters running in parallel to model a desired signal. We use Bregman divergences and obtain certain multiplicative updates to train the linear combination weights under an affine constraint or without any constraints. We use unnormalizedrelative entropy and relative entropy to define two different Bregman divergences that produce an unnormalized exponentiated gradient update and a normalized exponentiated gradient update on the mixture weights, respectively. We then carry out the mean and the mean-square transient analysis of these adaptive algorithms when they are used to combine outputs of $m$ constituent filters. We illustrate the accuracy of our results and demonstrate the effectiveness of these updates for sparse mixture systems.