Kategorik bağımlı değişken modellerinde parametre tahmini için klasik yaklaşımlara alternatif bazı sezgisel optimizasyon teknikleri

Abstract

Bağımlı ve açıklayıcı değişken (ler) arasındaki ilişkinin araştırılması için yaygın olarak kullanılan doğrusal regresyon analizi, bağımlı değişkenin iki ya da daha fazla düzey içeren kategorik bir değişken olması durumunda bazı istatistiksel varsayım bozulumlarından dolayı kullanılamamaktadır. Bu durumda doğrusal regresyona alternatif bazı doğrusal olmayan modeller önerilmiştir. Lojistik Regresyon Modelleri bu alternatif modeller arasında en fazla tercih edilen modeller olmuştur. Bu modellerde parametre tahminleri genellikle geleneksel En Çok Olabilirlik, Yeniden Ağırlıklandırılmış İteratif En Küçük Kareler Yöntemi ve Minimum Logit Ki-Kare Yöntemi ile yapılmaktadır. Bu yöntemlerde en iyi parametre tahminlerine ulaşabilmek için gradyant optimizasyon tekniklerinden yararlanılır. Oysaki optimize edilmeye çalışılan fonksiyon her zaman türevlenebilir özellikte olmayabilir. Bu durumda, fonksiyonların sürekli (dolayısıyla türevlenebilir) olmasını gerektirmeyen alternatif optimizasyon tekniklerinin de bilinmesi gerekmektedir. Yapılan çalışmalar, bağımlı değişkenin sürekli olması durumunda Genetik Algoritma Yaklaşımının parametre tahminlerinde başarılı bir biçimde uygulandığını ortaya çıkarmıştır. Bağımlı değişkenin kategorik olduğu modeller dikkate alındığında, parametrelerin etkin tahminlerine ulaşabilmek için Genetik Algoritma yaklaşımı kullanılarak yapılmış yeterli sayıda çalışmaya rastlanmamıştır. Bu çalışmada, bağımlı değişkenin kategorik olması durumunda parametrelerin tahmin edilmesinde bazı sezgisel optimizasyon yöntemlerinin etkinliği araştırılmıştır. Genetik Algoritmaya ek olarak Nelder-Mead Algoritması da ayrıntıları ile incelenmiştir. Lojistik regresyon analizinde klasik Newton-Raphson tahminleri, Genetik Algoritma ve Nelder-Mead tahminleri ile karşılaştırılmıştır. Son olarak, kategorik bağımlı değişken modellerinde Genetik Algoritma ve Nelder-Mead optimizasyon tekniklerinin kullanılabilirliği gösterilmiş ve tahminlerin Matlab kodları tanıtılmıştır.

Linear Regression Analysis which is widely used for examining the relationship between the dependent and explanatory variables could not be used because of some assumptions violations when the dependent variable is categorical with two or more levels. In such a case, some nonlinear models as alternatives to the linear regression have been proposed. Logistic Regression Models are most preferred models among all the alternatives. In these models, parameter estimation is generally made by the conventional methods of Maximum Likelihood, Iteratively Reweighted Least Squares Method and Minimum Logit Chi-Square Method. These methods require gradient optimization techniques to reach efficient parameter estimations. However, the objective function to be optimized does not have differentiable structure at all times. In this case, alternative optimization techniques should be known, which do not require the continuousness (so differentiability) of the function. Studies made in this field have brought to light that the Genetic Algorithm Approach to the parameter estimation has been successfully applied when the dependent variable is continuous. Taking into consideration of the categorical structure of the dependent variable, it has been realised that there is no adequate number of research made for obtaining efficient parameter estimation via the Genetic Algorithm approach. In this study, efficiency of some heuristic optimization techniques in the parameter estimation has been examined in case of the categorical dependent variable models. In addition to the Genetic Algorithm, the use of the Nelder-Mead algorithm has also been analyzed, in detail. The classical Newton-Raphson estimations have been compared with the Genetic Algorithm and Nelder-Mead estimations. Finally, the applicability of the concerned optimization techniques in categorical dependent variable models has been shown and Matlab commands of the estimations have been introduced.