Runge-kutta scheme for stochastic optimal control problems

Abstract

Bu tezde, önce ayrıklaştırma sonra optimize etme yaklaşımı kullanarak, stokastik optimalkontrol problemlerinin nümerik çözümleri için Runge-Kutta yöntemini inceledik.İlk önce maliyet fonksiyonu ve durum denklemi Runge-Kutta yöntemini ile ayrıklaştırdık.Sonra, ayrıklaştırılmış optimallik koşullarını elde etmek için, Lagrange fonksiyonununayrıklaştırılmış halini verdik ve onun kısmi türevlerini aldık. Sürekli ve ayrıklaştırlmış optimallik koşullarını karşılaştırarak durum denkleminin ve adjoint denklemininRunge-Kutta katsayıları bir bağlantı bularak, adjoint denklemi için Runge-Kuttayöntemini elde ettik. Deterministik durumda olduğu gibi, stokastik durumunda da nümerikmetodun yakınsama konusu önemlidir. Stokastik durum için, güçlü ve zayıfyakınsama olmak üzere iki çeşit yakınsama vardır. Her iki durum için de yakınsamakoşullarını elde edebilmek amacıyla, sürekli optimallik koşullarının gerçek çözümüve ayrıklaştırılmış optimallik koşullarının yaklaşık çözümünü karşılaştırdık. Bu tez birdeğerlendirme ve gelecek çalışmalara bir bakış ile sonuçlandırılmıştır.

In this thesis, we analyze Runge-Kutta scheme for the numerical solutions of stochasticoptimal control problems by using discretize-then-optimize approach. Firstly, we discretizethe cost functional and the state equation with the help of Runge-Kutta schemes.Then, we state the discrete Lagrangian and take the partial derivative of it with respectto its variables to get the discrete optimality system. By comparing the continuous anddiscrete optimality conditions, we find a relationship between the Runge-Kutta coefficientsof the state and adjoint equation, so that we present Runge-Kutta scheme forthe adjoint pair (p(t), q(t)). Similar to the deterministic setting, the issue of convergenceis important when dealing with a numerical scheme. In stochastic case, this canbe achieved either by using the strong-order convergence or weak-order convergencecriteria. We match the stochastic Taylor expansion on the exact solution of continuousoptimality system with the stochastic Taylor expansion of approximate solution of ourdiscrete optimality system, term by term, in order to get both strong and weak-orderconditions. The thesis ends with a conclusion and a future outlook to forthcomingresearch and application.