A new globally convergent computational spectral conjugate gradient algorithm for solving unconstraint nonlinear test-problems

Abstract

Bu tezde, kısıtsız doğrusal olmayan optimizasyon problemlerinin çözümü için yeni bir spektral eşlenik gradyan (SCG) algoritması önerilmiştir. Yapılan çalışmalar iki kısımda özetlenebilir: İlk olarak, standart Eşlenik İniş (CD) algoritmaları üzerinde küçük bir değişiklik yapılmıştır, şöyle ki, değişiklik yapılan yaklaşıma göre oluşturulan yön, seçili amaç fonksiyonlarını çözmek için iniş yönü göstermekte ve doğrultu belirleme tamamen aynıysa, standart CD algoritmasıyla değiştirilmiş algoritma örtüşmektedir. Eşlenik Gradyan algoritması sayesinde oluşturulan arama yönünün, amaç fonksiyonunun iniş yönü olmayacağı bilinen bir gerçektir. Bu özellik ne kullanılan Wolfe doğrultu arama ne de amaç fonksiyonunun dışbükeyliğine bağlıdır.İkinci olarak, yeni algoritmanın temel fikirlerini kanıt olarak kullanabileceğimiz, tanınmış ve yeni mutedil varsayımları tanıtarak yeni önerilen SCG algoritmasının küresel yakınsama ve kararlılık özellikleri üzerine çalıştık ve kuramsal olarak türettik. Son olarak ikinci türevleri mevcut olan seçili test problemleri üzerinde yeni SCG algoritmasının performansı raporlanmıştır. Değiştirilmiş FORTRAN kodları çifte hassasiyetli aritmetik ile yazılmış ve tüm testler PC üzerinde gerçekleştirilmiştir. Yeni önerilen SCG algoritmamızın güvenirliğini değerlendirmek için, algoritmamızın sonuçları üç standart CD-algoritması ve dört yeni yayımlanan SCG algoritması ile çözümün kalitesi ve performans kriterleri açısından karşılaştırılmıştır.

In this thesis, a new spectral conjugate gradient algorithm (SCG) is proposed for solving unconstrained nonlinear optimization problems. All work can be summarized in two parts: Firstly, a minor modification to the standard Conjugate Descent (CD) algorithm is proposed. The direction generated by the modified approach provides a descent direction for solving the objective functions and the modified algorithm coincide with the standard CD-algorithm if line search is exact. It is well-known that the search direction generated by a CG-algorithm may not be a descent direction of the objective function. This property depends neither on the Wolfe line search used, nor on the convexity of the objective function.Secondly, we have studied and derived theoretically the stability and the global convergence properties for the new proposed SCG algorithm by introducing some well-known and new mild assumptions, which will be used in the proof of the basic idea's of the new algorithm. Lastly, the performance of the new SCG algorithm is reported on the selected test problems whose second derivatives are available. Modified FORTRAN codes have been written in double precision arithmetic and all the tests were performed on a PC. In order to assess the reliability of our new proposed SCG algorithm, the results of new SCG are compared with the results of three standard CG algorithms and four recent published SCG algorithms in terms of solution quality and performance.