Advances in robust identification of spline models and networks by robust conic optimization, with applications to different sectors

Abstract

Hem girdi hem de çıktı değişikenlerindeki veriler çeşitli türlerdeki kontrolsüz değişimlerden etkilendiği ve zaman içinde gelişim gösteren senaryolar da belirli olmadığından belirsizlik, yüksek teknoloji mühendisliği ve çevre alanlarında ve aynı zamanda finans ve sigorta alanlarındaki karakteristik özelliklerden biri durumundadır. Çevresel ve ekonomik alandaki küresel kriz bu alanlardaki risk ve düzenleme yaklaşımına gerekli bir tekrar yapılandırılmanın kaçınılmaz olmasına yol açtığından, yeni küresel düzenleyici yapıların ana elemanları gerçek hayatın gereksinimlerine hizmet vermek üzere düzenleyici sistemleri daha sağlam ve uygun yapmak amacı ile kurulmalıdır. Düzenleyici ağların tahmin ve modellenmesinin mühendislik, finans, yeryüzü ve çevresel bilimler, eğitim, sistem biyolojisi, tıp gibi birçok alanda kayda değer bir önemi vardır. Karmaşık düzenleyici ağlar, düşünülen anahtar değişkenler üzerinde rahatsız edici bir etkiyi açığa çıkarabilecek ek parametre ve faktörlerin bilinmeyen etkisini dikkate alarak sıklıkla daha fazla genişletilmesi ve geliştirilmesi gerekir. Hedef-çevre ağları kavramı, böyle parametre bağımlı çok modelli sistemlerin analizi için bütüncül bir yapı sağlamaktadır. Karmaşık düzenleyici ağların veri tabanlı tahmini, bilinmeyen sistem parametrelerinin tahmini için zorlu regresyon problemlerinin çözümünü gerektirir;ancak, girdi verilerinin kesinlikle bilindiği varsayımında bulunan istatistik metodları güvenilir sonuçlar vermeyebilir. Kontrolsüz değişimin varlığı ve veri belirsizliği teorik ve hesaplamalı alanlarda ilgilenilmesi gereken ciddi problemlere yol açtığından belirsiz verilerin entegrasyonu, son derece birbirine bağımlı sistem modellerinin güvenilirliği için önemdir. Bu nedenle, küresel ağların karmaşık karşılıklı bağımlılıkları ile ilgili olarak sağlamlaştırma, bugünlerde daha fazla dikkat çekmeye başlamış ve parametrik belirsizliğe karşı bağışıklık kazandıran bir modelleme yapısı olduğundan sağlam optimizasyon büyük bir önem kazanmıştır. Bu tezde, sağlam (konik) çokdeğişkenli uyarlanabilir regresyon eğrileri (R(C)MARS) yaklaşımı sağlam optimizasyon aracılığı ile standart konik karesel programlama (CQP) kullanımına imkan sağlayan çokdüzlemli belirsizlik altında çözülmektedir. (C)MARS'da yapılan bir sağlamlaştırma ile tahmin değişiminin düşürülmesi amaçlanmıştır. Ayrıca, gerçek hayat modellerinin veri belirsizliği de düzenleyici sistemlere entegre edilmiş ve R(C)MARS uygulayarak bu sistemler sağlamlaştırılmıştır. Bu amaç için, öncelikle, eğri girdileriyle kesik zamanlı hedef-çevre düzenleyici sistemler analiz edilmiş, MARS ve klasikMARS'a bir alternatif olan CMARS metodlarını uygulanarak bu belirli ikili-model sistemleri için bilinmeyen sistem parametrelerini belirlememize olanak sağlayan yeni bir regresyon modeli sunulmuştur. CMARS, sürekli optimizasyon, özellikle iç nokta yönteminin kullanıldığı CQP aracılığıyla bir düzenlemeyi detaylandırmaktadır. Daha sonra çokdüzlemli belirsizlik altında sağlam optimizasyon yoluyla yeni kesikli zaman hedef-çevre düzenleyici sistemleri tanıtılmış ve analiz edilmiştir. Bununla birlikte, düzenleyici ağlarda yeni (sağlam) regresyon metodunun etkinliğini göstermek amacı ile birkaç sayısal örnek de sunulmuştur. Sonuçlar, tüm hedef ve çevresel faktörlerinifade değerlerine dayanarak, bizim yöntemimizin hedef-çevre etkileşimine başarılı bir şekilde yaklaşabildiğini göstermektedir. Ancak, (C)MARS ve R(C)MARS modellerinde, doğrusal kısımda ihtiyaç duyulmayan düğüm noktası seçimi olarak adlandırılan fazladan bir problemin çözülmesi gerekir. Bundan dolayı, doğrusal/lojistik regresyon ve R(C)MARS katkılarıyla sağlam (konik) genelleştirilmiş parçalı doğrusal model (R(C)GPLM) de geliştirilmiş ve sunulmuştur. Yarı-parametrik modeller olan (C)GPLMve R(C)GPLM, (C)MARS ve R(C)MARS algoritmalarında kullanılan değişken sayıları yönünden (C)MARS ve R(C)MARS'ın karmaşıklığını azaltmamıza olanak sağlamıştır. Ayrıca, metodlarımız, finansal sektör, meteoroloji ve enerji sektörü gibi çeşitli alanlardaki gerçek hayat verileri üzerine uygulanmıştır. Sonuçlar, MARS ve CMARS methodlarıyla karşılaştırıldığında, RMARS ve RCMARS'ın daha küçük değişim ile daha doğru ve daha kararlı modeller kurabildigini göstermektedir.

Uncertainty is one of the characteristic properties in the area of high-tech engineering and the environment, but also in finance and insurance, as the given data, in both input and output variables, are affected with noise of various kinds, and the scenarios which represent the developments in time, are not deterministic either. Since the global environmental and economic crisis has caused the necessity for an essential restructuring of the approach to risk and regulation in these areas, core elements of new global regulatory frameworks for serving the requirements of the real life have to be established in order to make regulatory systems more robust and suitable. Modeling and prediction of regulatory networks are of significant importance in many areas such as engineering, finance, earth and environmental sciences, education, system biology and medicine. Complex regulatory networks often have to be further expanded and improved withrespect to the unknown effects of additional parameters and factors that can emit a disturbing influence on the key variables under consideration. The concept of target-environment (TE) networks provides a holistic framework for the analysis of such parameter-dependent multi-modal systems. Data-based prediction of complex regulatory networks requires the solution of challenging regression problems for an estimation of unknown system parameters; however, given statistical methods which assume that the input data are exactly known, may not provide trustworthy results. Since the presence of noise and data uncertainty raises serious problems to be coped with on the theoretical and computational side, the integration of uncertain is a significant issue for the reliability of any model of a highly interconnected system. Therefore, nowadays, robustification has started to attract more attention with regard to complex interdependencies of global networks and Robust Optimization (RO) has gained great importance as a modeling framework for immunizing against parametric uncertainties. In this thesis, Robust (Conic) Multivariate Adaptive Regression Splines (R(C)MARS) approach has worked out through RO in terms of polyhedral uncertainty which brings us back to CQP naturally. By conducting a robustification in (C)MARS, the estimation variance is aimed to be reduced. Data uncertainty of real-world models is also integrated into regulatory systems and they are robustified by applying R(C)MARS. For this purpose, firstly, time-discrete TE regulatory systems are analyzed with spline entries, and a new regression model for these particular two-modal systems that allows us to determine the unknown system parameters is introduced by applying MARS and CMARS as an alternative to classical MARS. CMARS elaborates a regularization by means of continuousoptimization, especially, conic quadratic programming (CQP) which can be conducted by interior point methods. Then, time-discrete target-environment regulatory systems are newly introduced and analyzed under polyhedral uncertainty through RO. Besides, some numerical examples are presented to demonstrate the efficiency of our new (robust) regression methods for regulatory networks. The results indicate that our approach can successfully approximate the TE interaction, based on the expression values of all targets and environmental items. In (R)MARS and (R)CMARS, however, an extra problem has to be solved (by Software MARS, etc.), namely, the knot selection, which is not needed for the linear model part. Therefore, in this thesis, Robust (Conic) Generalized Partial Linear Models (R(C)GPLMs) are also developed and introduced by using the contributions of both regression models Linear Model/Logistic Regression and R(C)MARS. As semiparametric models, (C)GPLM and R(C)GPLM lead to reduce the complexity of (C)MARS and R(C)MARS in terms of the number of variables used in (C)MARS and R(C)MARS. Moreover, our methods are applied on real-world data from various areas, e.g., the financial sector, meteorology and the energy sector. The results indicate that RMARS and RCMARS can build more precise and stable models with smaller variances compared to those of MARS and CMARS.