A new contribution to nonlinear robust regression and classification with MARS and its applications to data mining for quality control in manufacturing

Abstract

Çok değişkenli uyarlanabilir regresyon eğrileri (MARS), istatiksel öğrenmede modernbir teknoloji olarak görünmektedir. Hem sınıflandırma hem de regresyonda çok büyükbir öneme sahip olan MARS, ekonomi, bilim ve teknoloji alanında giderek artan bir şekilde uygulanmaktadır.Çok boyutlu problemlerin çözümünde oldukça elverişli olan MARS, doğrusal olmayan çokdeğişkenli fonksiyonlara uygunluk bakımından da büyük bir olanak vaad etmektedir. MARStekniği, bağımsız değişkenlerle bağımlı değişken arasında belirli bir ilişki biçimi öngörmez. Birbaşka değişle, bağımlı değişkeni tanımlamak için bağımsız değişkenlerin eklemeli ve etkileşimselkatkılarına yer vermektedir. Bu ise MARS'ın önemli bir avantajı olan, temel fonksiyonların katkılarınıtahmin etme yeteneğini ortaya koymaktadır.MARS'ın uygunluk sağladığı fonksiyon sürekli bir fonksiyon iken, klasik sınıflandırma yöntemlerindenbiri olan CART'ın uygunluk sağladığı fonksiyon sürekli değildir. Bu nedenle MARS, sürekli fonksiyonlarauygunluk bakımından, CART'ın bir alternatifi olarak görülmektedir.Model fonksiyonunu tahmin etmek için MARS iki aşamalı bir algoritmadan oluşmaktadır. Birinci aşamada,maksimum karmaşıklık düzeyine ulaşıncaya dek temel fonksiyonlar eklenerek model yapılandırılır. İkinciaşamada ise modele katkısı en az fonksiyonlar elenir.Bu çalışmada biz, MARS'ın ikinci aşamasını oluşturan geriye doğru eleme yöntemi yerine penaltıyöntemini kullanmayı önermekteyiz. Bu amaçla, bir Tikhonov düzenleme problemi olarak MARSiçin cezalandırılmış hata kareler toplamı oluşturduk. Bu problemi ele alırken, geriye doğru elemeyöntemine bir alternatif ve tamamlayıcı bir teknik olarak düşündüğümüz sürekli optimizasyontekniklerini kullandır. Özellikle, iyi yapılandırılmış, doğrusal programlamaya benzeyen ve bundandolayı da iç nokta yöntemini kullanmaya olanak sağlayan ikinci dereceden konik kareselprogramlamayı (CQP) kullandık. Bu optimizasyon probleminin sınırlarının, çok amaçlıoptimizasyon yaklaşımı ile belirlenmesi, bize pek çok alternatif çözüm sağlamaktadır.Bu tez, yukarıda bahsi edilen teorik ve algoritmik çalışmaların yanısıra , kalite kontrolüneyönelik bir TÜBİTAK projesinin verileri üzerine bir uygulamayı da kapsamaktadır.

Multivariate adaptive regression spline (MARS) denotes a modernmethodology from statistical learning which is very importantin both classification and regression, with an increasingnumber of applications in many areas of science, economy and technology.MARS is very useful for high dimensional problems and shows a great promisefor fitting nonlinear multivariate functions. MARS technique does notimpose any particular class of relationship between the predictor variablesand outcome variable of interest. In other words, a special advantage of MARSlies in its ability to estimate the contribution of the basis functions so thatboth the additive and interaction effects of the predictors are allowed todetermine the response variable.The function fitted by MARS is continuous, whereas the one fitted byclassical classification methods (CART) is not. Herewith, MARSbecomes an alternative to CART. The MARS algorithm for estimating themodel function consists of two complementary algorithms: the forward andbackward stepwise algorithms. In the first step, the model isbuilt by adding basis functions until a maximum level of complexityis reached. On the other hand, the backward stepwise algorithm is began byremoving the least significant basis functions from the model.In this study, we propose not to use the backward stepwise algorithm. Instead,we construct a penalized residual sum of squares (PRSS) for MARS as a Tikhonovregularization problem, which is also known as ridge regression. We treatthis problem using continuous optimization techniques which we consider tobecome an important complementary technology and alternative to the conceptof the backward stepwise algorithm. In particular, we apply the elegant frameworkof conic quadratic programming which is an area of convex optimization thatis very well-structured, herewith, resembling linear programming and, hence,permitting the use of interior point methods. The boundaries of this optimizationproblem are determined by the multiobjective optimization approach which provides us manyalternative solutions.Based on these theoretical and algorithmical studies, this MSc thesis workalso contains applications on the data investigated in a TÜBİTAK project onquality control. By these applications, MARS and our new method are compared.