Refinements, extensions and modern applications of conic multivariate adaptive regression splines

Abstract

Konik Çok Değişkenli Uyarlanabilir Regresyon Eğrileri (CMARS) iyi bilinen verimadenciliği tekniklerinden biri olan Çok Değişkenli Uyarlanabilir Regresyon Eğrilerine(MARS) alternatif olarak ODTÜ Uygulamalı Matematik Enstitüsünde geliştirilmistir. CMARS belirlenmiş veriye ve bir Tikhonov düzenleme problemi olarak yorumlanmış MARS için cezalandırılmış hata kareler toplamına dayanmaktadır. CMARS bu problemi konik karesel programlama (CQP) olarak adlandırılan sürekli optimizasyon tekniği ile ele almaktadır.Bu doktora tezi CMARS modelini istatistik ve uygulamalı matematiğin ileri metodlarınıngeniş bir çerçevesi içerisinde uyarlamaktadır. İlk uygulama yarı parametrik birmodelin özel bir formu olan Genelleştirilmiş Kısmi Doğrusal Modellerde (GPLMs)CMARS'ın kullanılmasıdır. GPLMs genel parametrik terimlerin parametrik olmayanbir parça ile birleştirildiği Genelleştirilmiş Doğrusal Modellerin (GLMs) farklı birşeklidir.Burada GLMs'in tercih edilmesinin nedeni çeşitli istatistiksel problemlere olan esnekliği ve model uyumu için gerekli olan hazır yazılımların varlığıdır. GPLMs için çeşitli tahmin yöntemleri bulunmaktadır. Yarı parametrik modellerin en büyük avantajlarındanbiri bazı grupların (doğrusal ve doğrusal olmayan veya parametrik ve parametrikolmayan) girdi boyutlarına veya değişkenlerine göre uygun olan alt modeller belirleyebilmeyiiçermesidir. Bu tezde, parametrik model kısmının tahmini için en küçük kareler tahmin yöntemini kullandık. Diğer taraftan, CMARS'ı parametrik olmayan kısımdaki pürüzsüz fonksiyon tahmini için düşündük. CGPLM olarak isimlendirilen bu yeni algoritma iç nokta metodunu kullandığı için yüksek hız ve düşük karmaşıklık avantajına sahiptir.Diğer bir uygulama CMARS yönteminin aykırı gözlem belirlemesi probleminin çözümü icin kullanılmasıdır. Bu amaç ile biz düzenleme ve CQP tekniklerini kullanarak parametrik bir yöntem olan ortalama-kaydırma aykırı gözlem modeli için yeni bir çözüm ürettik. Sonrasında önerilen yöntem veri içindeki doğrusal olmayan yapının gösterilmesi için CMARS'ın kullanılması ile daha da geliştirildi.Bu doktora tezinin ikinci kolu Brown hareketleri ve kademeli Brown hareketleri (fBms)ile elde edilmiş Stokastik Diferansiyel Denklemlerin (SDEs) parametrelerinin belirlenmesiiçin CMARS yönteminin kullanılmasıdır. Bu tez hem standart çok boyutlu Brownhareketleri ile SDEs sistemlerini hem de ilintili Brown haraketleri ile SDEs sistemlerinikapsamaktadır. Ayrıca, burada CMARS yönteminin eğri katsayısı ve özellikle fBms ileelde edilmiş SDEs'in Hurst parametresi tahmini için kullandık. Bu çalışmanın teoriksonuçlarının bilim, teknoloji ve finansta yeni yorumlama ve uygulamalara öncülükedebileceği düşünülmektedir.Bu doktora tezi sonuç ve gelecekte yapılacak çalışmalara bir bakış ile sona ermektedir.Anahtar Kelimeler: Konik cçk degişkenli uyarlanabilir regresyon eğrileri, stokastik diferansiyel denklemler, kademeli Brown hareketi, konik genelleştirilmis¸ kısmi dogrusal model, aykırı gözlem belirleme

Conic Multivariate Adaptive Regression Splines (CMARS) which has been developed at the Institute of Applied Mathematics, METU, as an alternative approach to the well-known data mining tool Multivariate Adaptive Regression Splines (MARS). CMARS is based on given data and a penalized residual sum of squares for MARS, interpreted as a Tikhonov Regularization problem. CMARS treats this problem by a continuous optimization technique called Conic Quadratic Programming (CQP). This doctoral thesis adapts the CMARS model into a wide frame of advanced methods of statistics and applied mathematics. The first application is using CMARS in Generalized Partial Linear Models (GPLMs), a particular form of a semiparametric model, which extends the Generalized Linear Models (GLMs) in that the usual parametric terms are augmented by a single nonparametric component. We prefer GLMs because of their flexibility to the variety of statistical problems and the availability of software to fit the models. There are different kinds of estimation methods for GPLMs. One of the great advantages of semiparametric models consists of some grouping (linear and nonlinear or parametric and nonparametric) which could be done for the input dimensions (or features) in order to assign appropriate submodels to the groups specifically. In this thesis, for the estimation of the parametric model part, we apply the least-squares estimation. On the other hand, we consider CMARS for the nonparametric part to estimate the smooth function. This new algorithm, called CGPLM, has the advantage of higher speed and less complexity, as it accesses the use of interior point methods.The other extension is the use of CMARS method for the outlier identification problem. For this purposes, we provide a new solution by using regularization and CQP techniques to the mean-shift outlier model, which is considered as a parametric method. After that the proposed method is improved by using CMARS to represent the nonlinear structure in the data.The second track of this doctorate study is the use of CMARS method for the parameter identification of Stochastic Differential Equations (SDEs) driven by Brownian motions and fractional Brownian motions (fBms). Both systems of SDEs with standard multi-dimensional Brownian motions and systems of SDEs having correlated Brownian motions are covered in this thesis. Moreover, we introduce the CMARS method to estimate both the spline coefficients and, especially, the Hurst parameter of the SDEs driven by fBms. The theoretical results of this study may lead new implementations and applications in science, technology and finance.This PhD thesis ends with a conclusion and an outlook to future studies.Keywords: Conic multivariate adaptive regression splines, stochastic differential equations, fractional Brownian motion, conic generalized partial linear model, outlier identification