Robust conic quadratic programming applied to quality improvement - A robustification of CMARS

Abstract

Bu çalışmada, yöneylem araştırması amacıyla, özellikle, imalat içindeki kalite geliştirmesi için Konik Karasel Programlamayı inceliyor ve kullanıyoruz. Önceki dönemde ODTÜ Uygulamalı Matematik Enstitüsü'nde yapılan ve tamamlanan Master tezi projesinde Konik Karasel Programlamanın bu alandaki önemi ve yararı zaten açıklanmış oldu. O projede, özellikle veri içindeki parazitle ilgili duyarlık anlamındaki regresyon yöntemi MARS'ın karmaşıklığı, bir Konik Karasel programlama problemi olarak incelenmiş ve açıklanmış olan sözde Tikhonov düzenleme formu içinde cezalandırılmış oldu. Bu durum yeni metod CMARS'ın oluşmasına öncülük etmiştir. CMARS daha fazla model tabanlıdır ve MOSEK gibi kodlarıyla İç Nokta Metodlarının kullanılmasına olanak sağlayan sürekli, doğrusu, iyi yapılandırılmış konveks optimizasyona hizmet verir. Bu çalışmada, biz model içinde özelliklede girdi değişkenlerinde belirsizlik içerecek şekilde regresyon problemimizi geneleleştiriyoruz.Çok değişkenli uyarlanabilir regresyon eğrileri (MARS) algoritmasına seçenek olarak son zamanlarda geliştirilmiş yeni bir yaklaşım olan konik (konveks, sürekli) çok değişkenli uyarlanabilir regresyon eğrileri (CMARS) algoritması karmaşık ve türdeş olmayan veri kümelerini başarı ile modelleyen bir yöntem olarak karşımıza çıkmaktadır. Ancak MARS ve CMARS yöntemleri bağımsız (girdi) değişkenlerin sabit olduğunu varsaymaktadır. Aslında yaşam verilerinin tümümde (yani, girdi ve çıktı değerlerinde) gürültü bulunmaktadır ve optimizasyon probleminin çözümleri problem değişkenlerindeki belirsizliklere karşı kayda değer bir duyarlılık gösterebilmektedir. Bu yeni çalışmada, bağımsız değişkenlerin rastgele olduğu varsayılarak CMARS modeline belirsizlik kavramı eklenmiş ve verilerdeki belirsizlikleri ele alan sağlam optimizasyon tekniği ile CMARS model ve algoritması sağlamlaştırılmaktadır. Bu çeşit optimization Aharon Ben-Tal ve Arkadi Nemirovski tarafından tanıtıldı ve Laurent El Ghaoui tarafından veri madenciliği alanında kullanıldı. Bu optimizasyon, programlama problemleri içindeki değişik tarzda belirsizlikleri ve karışıklıkları içermektedir. Sağlam optimizasyon ile bu Konik Karasel Program Sağlamlaştırma, Tikhonov düzenlemesini temel alan önceki katkılarla ve geleneksel MARS yöntemiyle karşılaştırılmaktadır.Anahtar Kelimeler: Çok Değişkenli Uyarlanabilir Regresyon Eğrileri, Konik Çok Değişkenli Uyarlanabilir Regresyon Eğrileri, Sağlam Optimizasyon, Veri Belirsizliği, Konik Karesel Programlama.

In this thesis, we study and use Conic Quadratic Programming (CQP) for purposes of operational research, especially, for quality improvement in manufacturing. In previous works, the importance and benefit of CQP in this area became already demonstrated. There, the complexity of the regression method Multivariate Adaptive Regression Spline (MARS), which especially means sensitivity with respect to noise in the data, became penalized in the form of so-called Tikhonov regularization, which became expressed and studied as a CQP problem. This was leading to the new method CMARS; it is more model-based and employs continuous, actually, well-structured convex optimization which enables the use of Interior Point Methods and their codes such as MOSEK. In this study, we are generalizing the regression problem by including uncertainty in the model, especially, in the input data, too.CMARS, recently developed as an alternative method to MARS, is powerful in overcoming complex and heterogeneous data. However, for MARS and CMARS method, data are assumed to contain fixed variables. In fact, data include noise in both output and input variables. Consequently, optimization problem?s solutions can show a remarkable sensitivity to perturbations in the parameters of the problem. In this study, we include the existence of uncertainty in the future scenarios into CMARS and robustify it with robust optimization which is dealt with data uncertainty. That kind of optimization was introduced by Aharon Ben-Tal and Arkadi Nemirovski, and used by Laurent El Ghaoui in the area of data mining. It incorporates various kinds of noise and perturbations into the programming problem. This robustification of CQP with robust optimization is compared with previous contributions that based on Tikhonov regularization, and with the traditional MARS method.Keywords: Multi Adaptive Regression Splines, Conic Multi Adaptive Regression Splines, Robust Optimization, Data Uncertainty, Conic Quadratic Programming.