Doğrusal olmayan regresyon model parametrelerinin nokta ve aralık tahmini için bir yaklaşım

Abstract

Doğrusal olmayan regresyon model parametrelerinin nokta tahminlerinin elde edilmesinde en çok izlenen yaklaşım, türeve dayalı iteratif algoritmalar ile modele En Küçük Kareler (EKK) yaklaşımının uygulanmasıdır. Gauss-Newton, En Hızlı İniş ve Levenberg-Marquardt (L-M) algoritmaları literatürde tanımlı yaygın olarak kullanılan türeve dayalı algoritmalardır. Fakat, bu algoritmalar kullanılarak yapılan aramalarda, başlangıç noktasının iyi tanımlanamadığı durumlarda yerel tuzaklara takılma, global çözüme yakınsayamama gibi sorunlar ortaya çıkabilmektedir. Bu çalışmada, doğrusal olmayan regresyon model parametrelerinin nokta tahminlerinin elde edilmesi amacıyla türeve dayalı algoritmalara alternatif olarak, Nelder-Mead Simpleks (NMS) algoritması ve Genetik Algoritma (GA) gibi türevden bağımsız algoritmalar önerilmektedir. Çalışmada, NMS algoritması ve GA hakkında detaylı bilgiler verilmiştir. GA kullanılarak parametrelerin nokta tahminlerinin elde edilmesinde, GA ayarlanabilir parametrelerinin probleme uygun olarak belirlenmesi global sonuca ulaşmayı etkileyeceğinden, Taguchi deney tasarımı ile optimal GA ayarlanabilir parametre değerleri belirlenmiştir. Ayrıca çalışmada, NMS algoritması ve GA'nın avantajlı yönlerinin birlikte kullanılması ile oluşturulan ve GANMS olarak adlandırılan bir hibrit algoritma ile parametrelerin nokta tahminlerinin elde edilmesine de yer verilmiştir. Model parametrelerinin aralık tahminleri için Bootstrap yönteminden yararlanılmıştır. Çalışmada ifade edilen nokta ve aralık tahmini yaklaşımları, literatürde tanımlı bir veri setine uygulanarak, bir negatif-üstel regresyon modeline ait parametreler için nokta ve aralık tahminleri elde edilmiştir. Elde edilen sonuçlar literatürde bulunan sonuçlar ile karşılaştırıldığında, ayarlanabilir parametreleri uygun tanımlanan GA'nın ya da GANMS hibrit algoritmasının, parametrelerine göre doğrusal olmayan regresyon modellerinde bir optimizasyon aracı olarak kullanılabileceği sonucuna ulaşılmıştır.

A common used approach for obtaining point estimates of nonlinear regression model parameters is applying Least Squares (LS) approach by using derivative-based iterative algorithms. The Gauss-Newton, the Steepest Descent and Levenberg-Marquardt (L-M) algorithms are widely used derivative-based algorithms which are defined in the literature. However, if the initial values for these algorithms are not well-defined, some of the problems ocur during the search, e.g. trapping to local solutions and non-convergence to global solution. In this study, derivative-free optimization algorithms, Nelder-Mead Simplex (NMS) algorithm and Genetic Algorithm (GA), are used as alternative approaches to derivative-based algorithms to obtain point estimations of nonlinear regression model parameters. The detailed informations are given about NMS algorithm and GA with defining the advantages and disadvantages. It is known that defining the proper values of GA tuning parameters effect global solution. Therefore, optimal GA tuning parameters are defined by using Taguchi experimental design. In addition, in the study, a hybrid algorithm, called GANMS and obtained by combining the advantageous properties of NMS and GA, is used for point estimation of parameters. The Bootstrap approach is used for interval estimation of model parameters. The point and interval estimation approaches, defined in the study, are applied on a data set from the literature and estimation of the negative-exponential regression model parameters are obtained. The obtained solutions are compared with the previous results. It is seen that the GA with proper tuning parameters or GANMS hybrid algorithm can be used as an optimization tool for point estimation of nonlinear regression models.