Çoklu bağıntılı doğrusal modellerde ridge regresyon yöntemi

Abstract

ÖZET Bu çalışmada, türetilmiş ve uygulama verileriyle çoklu bağıntının Ridge Regresyon, Temel Bileşenler Regresyon ve Aşamalı Regresyon yöntemleriyle giderilmesi ve En Küçük Kareler yöntemi ile karşılaştırılması amaçlandı. Yaptığımız simülasyon çalışmasında, Ridge Regresyon yöntemi ile elde edilen hata kareler ortalamasının En Küçük Kareler yöntemi ile elde edilen hata kareler ortalamasından büyük olmasına rağmen Ridge Regresyon yöntemiyle elde edilen katsayı tahminlerinin En Küçük Kareler yöntemi ile elde edilen katsayı tahminlerinin daha küçük olduğu, küçük örneklemlerde de Ridge Regresyon ile çoklu bağıntının giderilebildiği, birim sayısı arttıkça yanılma payının ve regresyon katsayı tahminlerinin varyanslarının azaldığı, bütün örneklemlerde En Küçük Kareler yönteminden elde edilen R2 değerinin Ridge Regresyon yönteminden elde edilen R2 değerinden daha büyük olduğu, böylece testin gücünün arttığı fakat çok etkili olmadığı bulundu. Sistolik kan basıncının tahminine ilişkin uygulamada, çoklu bağıntının giderilmesi için önerilen Ridge Regresyon yönteminin çoklu bağmtıyı gidermediği ve her bir bağımsız değişkenin etkisi dikkate alınarak uygulanan Temel Bileşenler Regresyon yönteminin çoklu bağıntıyı giderdiği bulundu. Simülasyon ve uygulama çalışmaları sonucunda çoklu bağıntılı durumlarda verilere regresyon analizi yapılırken Ridge Regresyon yöntemi yerine Temel Bileşenler Regresyon yönteminin ya da Aşamalı Regresyon yönteminin kullamlmasınm uygun olacağı sonucuna varıldı. Anahtar Kelimeler: Çoklu Bağmtı, Ridge Regresyon, En Küçük Kareler Temel Bileşenler Regresyon, Aşamalı Regresyon 64

SUMMARY Using derived and application data, our objectives in this study were the removal of multicollinearity with Ridge Regression, Principle Component Regression, and Stepwise Regression techniques, and compare them with the Least Squares method. Although the mean square error obtained by Ridge Regression in the simulation part of our study was greater than the mean square error obtained by the least squares method, smaller coefficient predictions obtained by Ridge Regression than the coefficient predictions obtained by least squares method, the possibility to eliminate multicollinearity by Ridge Regression even small sample datasets, a decrease in the percentage of false prediction ratio and variance of regression coefficient predictions with an increase in the number of units, and R2 value obtained by least squares method being greater than the R2 value obtained by Ridge Regression in all samples, demonstrated an increase in the power of the test but without a significant effect. During the analysis to predict systolic blood pressure, the proposed Ridge Regression method for removing multicollinearity did not eliminate multicollinearity, whereas applying Principle Component Regression technique considering the influence of each independent variable did. As a result of the analyses using both simulation and application data, we concluded that Principle Component Regression method or Stepwise Regression method are more appropriate than the Ridge Regression technique in multicollinearity situations, where the data is analyzed using regression methods. Keywords: Multicollinearity, Ridge Regression, Least Squares, Principle Component Regression, Stepwise Regression 65