Regression by selecting best feature(S)

Abstract

ÖZET EN İYİ ÖZNİTELİKLERİ SEÇME İLE REGRESYON Tolga Aydın Bilgisayar Mühendisliği, Yüksek Lisans Tez Yöneticisi: Doç. Dr. Halil Altay Güvenir Eylül, 2000 Regresyon problemleri için, En İyi Öznitelik izdüşümlerini Seçerek Regresyon (RSBFP) ve En İyi Öznitelikleri Seçerek Regresyon (RSBF) adında iki yeni makine öğrenmesi metodu sunulmuştur. Bu metodlar minimum kareler re- gresyonunun ağırlıklı kullanımı ile çalışkan, parametrik ve adaptif modeller oluştururlar. Makine öğrenmesi ve istatistik literatürünün DART, MARS, RULE ve kNN gibi ünlü metodları hem tahmin gücü yüksek, hem de hızlı öğrenme ve/veya sorgulama yapan modeller üretememektedirler. RSBFP ve RSBF, literatürdeki bu boşluğu doldurmak için geliştirilmiştir. RSBFP, lineer özniteliklere ve/veya kategorik öznitelik parçalarına ait olan basit lineer re gresyon doğrularından bir karar listesi (model) oluşturur. RSBF, RSBFP 'nin gelişmiş versiyonu olup, karar listesi hem lineer özniteliklere ait çoklu hem de kategorik öznitelik parçalarına ait basit lineer regresyon doğrularından oluşur. Çoklu regresyon doğrularında yer alan öznitelikler geliştirilen bir uygunluk sezgisi ile bulunur. RSBFP ve RSBF'in, gereksiz özniteliklere, bilinmeyen değerlere ve gürültülü hedef öznitelik değerlerine karşı dayanıklı bir perfor mansa sahip olduğu gösterilmiştir. Böyle durumlarda diğer metodlara nazaran daha iyi sonuçlar vermeleri, gerçek veri kümeleri için uygun birer tahmin aracı olduklarını gösterir. Anahtar Sözcükler: Regresyon, fonksiyon yaklaştırımı, öznitelik izdüşümü. iv

ABSTRACT REGRESSION BY SELECTING BEST FEATURE(S) Tolga Aydın M.S. in Computer Engineering Supervisor: Assoc. Prof. Halil Altay Güvenir September, 2000 Two new machine learning methods, Regression by Selecting Best Feature Projections (RSBFP) and Regression by Selecting Best Features (RSBF), are presented for regression problems. These methods heavily make use of least squares regression to induce eager, parametric and context-sensitive models. Famous regression approaches of machine learning and statistics literature such as DART, MARS, RULE and kNN can not construct models that are both predictive and having reasonable training and/or querying time dura tions. We developed RSBFP and RSBF to fill the gap in the literature for a regression method having higher predictive accuracy and faster training and querying time durations. RSBFP constructs a decision list consisting of simple linear regression lines belonging to linear features and/or categorical feature segments. RSBF is the extended version of RSBFP such that the decision list consists of both simple, belonging to categorical feature segments, and/or mul tiple, belonging to linear features, linear regression lines. A relevancy heuristic has been developed to determine the features involving in the multiple regres sion lines. It is shown that the proposed methods are robust to irrelevant features, missing feature values and target feature noise, which make them suitable prediction tools for real-world databases. In terms of robustness, RS BFP and RSBF give better results when compared to other famous regression methods. Keywords: Regression, function approximation, feature projections. m