Fast algorithms for smooth and monotone covariance matrix estimation

Abstract

Bu tezin üzerine eğildiği problem, finansal risk yönetimi bağlamında, bağımsız özdeş dağılımlara sahip sınırlı sayıda ve yüksek boyutlu çok-değişkenli örneklerden söz konusu rasgele değişkenlerin düşük-boyutlu bir çok-katmanlı (örneğin bir doğru) boyunca kendiliğinden uzamsal bir dizilimi olması koşulu altında ortak değişinti matrisi kestirimidir.Örneklem ortak değişinti matrisi kestirimi yaklaşımı söz konusu çerçeve içinde birçok risk barındırmaktadır. Ortak değişinti matrisi kestirimlerini geliştirmek amacıyla verinin yapısı hakkındaki bilgilerden faydalanan birtakım yaklaşımlar geliştirilmiş olsa da genelde hepsi çok katı yapılar empoze etmektedirler.Bu tezde ise, ortak değişinti matrisinin bahsi geçen uzamsal dizinlemeye göre tekdüze ve pürüzsüz olduğunu varsayan farklı bir formülasyondan yararlanmaktayız. Bu formülasyon orijinal olarak söz konusu kestirim probleminden dışbükey eniyileme çerçevesi dahilinde türetilmiş olup sonucunda elde edilen yarı kesin programlama problemi (SDP) bir dahili nokta yöntemi (IPM) ile çözülmektedir. Fakat bir IPM'ni SDP ile çözmek büyük ortak değişinti matrisleri için hesaplama bakımından aşırı masraflı olabilir.Bu gözlemden harekete geçerek, bu tezde tekdüze ve pürüzsüz ortak değişinti matrisi kestirimi için yüksek verimli birinci derece çözücüler geliştirmekteyiz. İlki izdüşümsel gradyanlar, ikincisi de yeni geliştirilmiş optimal birinci derece yöntemler üzerine dayalı olmak üzere ortak değişinti matrisi kestirimi için iki çeşit çözücü önermekteyiz. Bu sayısal algoritmalar ile kapsamlı bir deneysel analiz sunmaktayız. Öncelikle verilerin sınırlı, eksik, veya zamanuyumsuz olduğu durumlarda ortak değişinti matrisi kestirimi üzerinde tekdüzelik ve pürüzsüzlük kısıtlarını uygulamanın faydalarını göstermekteyiz. Sonrasında birinci derece yöntemlerimizin olası hesapsal faydalarını problemin IPM ile çözümüyle ayrıntılı bir şekilde karşılaştırarak göstermekteyiz.

In this thesis the problem of interest is, within the setting of financial risk management, covariance matrix estimation from limited number of high dimensional independent identically distributed (i.i.d.) multivariate samples when the random variables of interest have a natural spatial indexing along a low-dimensional manifold, e.g., along a line.Sample covariance matrix estimate is fraught with peril in this context. A variety of approaches to improve the covariance estimates have been developed by exploiting knowledge of structure in the data, which, however, in general impose very strict structure.We instead exploit another formulation which assumes that the covariance matrix is smooth and monotone with respect to the spatial indexing. Originally the formulation is derived from the estimation problem within a convex-optimization framework, and the resulting semidefinite-programming problem (SDP) is solved by an interior-point method (IPM). However, solving SDP via an IPM can become unduly computationally expensive for large covariance matrices.Motivated by this observation, this thesis develops highly efficient first-order solvers for smooth and monotone covariance matrix estimation. We propose two types of solvers for covariance matrix estimation: first based on projected gradients, and then based on recently developed optimal first order methods. Given such numerical algorithms, we present a comprehensive experimental analysis. We first demonstrate the benefits of imposing smoothness and monotonicity constraints in covariance matrix estimation in a number of scenarios, involving limited, missing, and asynchronous data. We then demonstrate the potential computational benefits offered by first order methods through a detailed comparison to solution of the problem via IPMs.