Inverse optimal control for nonlinear systems

Abstract

Doğrusal olmayan sistemler için optimal kontrolör tasarımı her zaman yoğun bir araştırma alanı olmuş ve bu alanda çok sayıda yayınlar yapılmış ve de araştırmalar devam etmektedir.Doğrusal olmayan kontrolör tasarım problemi verilen bir doğrusal olmayan sistem için belirli bir optimal olma ölçütünü sağlayarak söz konusu sistemi dengeleyecek kontrol yasasını oluşturmaya çalışır. Doğrusal olmayan optimal kontrol problemine geleneksel yaklaşım bizi Hamilton-Jacobi-Bellman (HJB) denklemine götürür ki bu denklemlerin genel doğrusal olmayan sistemler için tam analitik bir çözümü yoktur. Burada, farklı ters optimal kontrolör tasarım yöntemlerine temel yaklaşımın, uygun bir kuadratik kontrol Lyapunov fonksiyonu (Quadratic Liapunov Function - CLF) tanımlanması veya bir şekilde oluşturulması olarak belirtilebilir.Ters optimal kontrol problemi ilk olarak Kalman tarafından lineer sistemleri için önerilmiştir. Bu problem de verilen bir durum geri beslemesinin belirli bir amaç ülçütüne göre optimal olup olmadığı sorusuna yanıt arar. Sonuç olarak ters optimal kontrol kuramının arkasındaki temel düşünce bir kararlı kılıcı geri besleme kontrol kuralı oluşturup daha sonra bu kontrol kuralını giriş değişkenlerine ve durumlara bağlı bir anlamlı amaç ölçütünün optimizasyonunda kullanmaktır.Bu yaklaşım klasik optimal kontrol problemi ile karşılaştırıldığında bir kafa karıştırıcı bulunabilir. Çünkü klasik optimal kontrol problemine çözüm yaklaşımında öncelikle amaç ölçütünün bilinmesi zorunluluğu vardır. Son yıllarda özellikle havacılık alanındaki problemler ters optimal kontrol yaklaşımı sıkça kullanılmaya başlamıştır. Böylece, lineer olmayan sistemlerde karşımız çıkan ve çözümü bazen imkânsız veya çok zor olan Hamiton- Jacobi- Bellman denklemini çözmek durumunda kalınmamaktadır. Ancak, ters optimal kontrol problemlerinde de temel sorun, bu güne kadar, en genel şekilde tüm lineer olmayan sitemler için bir kontrol Liapunov fonksiyonun (Control Liapunov Function – CLF) bulabilmek için sistematik bir yaklaşım önerilememiş olmasıdır.Bu tezde, zamanda ayrık affine doğrusal olmayan sistemlerde uygulanmak üzere ters optimal kontrol problemi çözümüne iki farklı yaklaşım önerilmektedir. Birinci yaklaşımda, aday CLF'nin parametreleri çevrim-dışı bir şekilde Parçacık Sürü Optimizasyon ( Particle Swarm Optimization-PSO) ve Büyük Patlama - Büyük Çöküş (Big Bang - Big Crunch BB-BC) optimizasyon yöntemleri kullanarak optimum değerleri belirlenmeye çalışılmıştır. Ayrıca, bu yaklaşımda, yine çevrim dışı olarak çok ölçütlü optimizasyon problemine dayalı bir ters optimal kontrolör tasarım yöntemi geliştirilmiştir. Bu yöntemde, birbirleriyle çatışan ölçütler olan hataların karelerinin karekökü (RMSE) ve kontrol aksiyonun karelerinin toplamı ifadelerini birlikte eniyileyecek biçimde ve global bir optimizasyon yöntemi olan BB-BC kullanılarak, bir ters optimal kontrolör tasarlanmıştır. Bilindiği üzere çok ölçütlü optimizasyon yönteminde birden çok optimal nokta olacağı açıktır. Bu nedenle, çok ölçütlü optimizasyon problemi bir ağırlık katsayıları aracılığıyla tek boyuta indirgenmiştir. Ancak, bu ağırlık katsayılarına değişik değerler atanarak irdelemeler de yapılmıştır. Sonuç olarak bu değişik katsayılar verilereek elde edilen sonuçları tasarımcının irdeleyerek kendisi için en uygun çözümü seçmesi beklenmektedir. Bu yöntemlerin başarımını test etmek için de literatürden bir doğrusal olmayan sistem örneği üzerinde denemeler yapılmış ve sonuçlar karşılaştırma bir biçimde irdelenmiştir.// Benzetim sonuçları tasarımcıya klasik ters optimal kontrol çözümü ile çoklu-optimizasyon fonksiyonu üzerinden sunulan çözümler arasında seçim yapması açısından bir farkındalık yaratmaktadır. Daha sonra, Bu önerilen yaklaşımlar araba üzerindeki ters sarkaç problemine de uygulanmıştır. Benzetim sonuçları, önerilen yöntemin, zamanda ayrık affine ve doğrusal olmayan sistemlerin, doğrusal olmayan kontrolünde etkin sonuçlar verdiğini göstermiştir.İkinci yaklaşım olarak, yine zamanda ayrık affine doğrusal olmayan sitemlerin optimal kontrol çözümü için Extended Kalman Filter (EKF) algoritmasına dayalı bir ters optimal kontrol tasarım yöntemi önerilmiştir. Burada, sistem durumlarının RMSE değeri gözlenen hata olarak kullanılmış ve EKF, en uygun CLF matris eleman değerlerini yaratarak RMSE hatasını en aza indirecek şekilde tasarlanmıştır. Yöntemin başarımı ve etkinliği iki farklı doğrusal olmayan sistem modeli üzerinde benzetimler yapılarak gösterilmiştir.Ayrıca, yöntem bir gerçek zaman laboratuvar deney düzeneği üzerinde de çalıştırılarak başarımı ve etkinliği gözlenmiştir. Benzetim çalışmaları önerilen yöntemin literatürde söz edilen diğer iki ters optimal kontrol yöntemlerine kıyaslandığında daha verimli ve etkin çözümler sunduğu görülmüştür. Son olarak, önerilen yöntemle, anlamlı bir maliyet fonksiyonunu en aza indirecek bir biçimde, profesyonel bir kontrol kartı üzerinden, Doğru Akım- Doğru Akım (DA-DA) dönüştürücünün (DC-DC boost converter) kontrol edilmesi sağlanmıştır. Gerçek zamandaki deneysel sonuçları, bize önerilen EKF tabanlı ters optimal kontrol yöntemin, çok kısa zaman sabiti olan sistemler üzerinde bile rahatlıkla ve de etkin bir şekilde uygulanabilirliğini göstermiştir. Bu tez, ayrıca, doğrusal sistemler için HJB denklemine etkin bir çözüm de sunmaktadır. Doğrusal sistemler ve kuadratik başarım ölçütü durumunda geleneksel çözüm olarak doğrusal kuadratik düzenleyici (Linear Quadratic Regulator - LQR) problemine varıldığı bilinir. Bu problemin çözümü de doğrusal sistemler için durum uzayında durum geri beslemeli kontrolör tasarımı için en bilinen ve etkin kullanışlı yöntemdir. Ancak, burada bulunan Q ve R matrislerini elemanlarının seçimi daha çok deneme yanılmaya dayalı olarak belirlenmektedir. Burada, yenin bir yaklaşım önerilmiştir.Bu yaklaşımda, Q ve R matrislerinin elemanları zaman tanım bölgesinde tanımlı bir başarım ölçütünü en iyi yapacak bir biçimde ve global bir arama algoritması olan Big Bang Big Crunch (BB-BC) kullanılarak belirlenmiştir. Bu yaklaşımda önerilen özel uygunluk başarım fonksiyonu bazı zaman tanım bölgesi ölçütlerinin ( yüzde aşım, yerleşme zamanı, yükselme zamanı ve sürekli hal hatası ) ters fonksiyonu olarak tanımlanmıştır. Bu yöntemin başarımını ölçmek üzere önce araba üzerindeki ters sarkaç probleminin dengelenmesi için bir benzetim çalışması yapılmıştır. Daha sonra, önerilen yöntem, Doğru Akım- Doğru Akım (DA-DA) dönüştürücü (DC-DC boost converter) laboratuvar deney setinin kontrol edilmesinde gerçek zamanda denenmiştir. Bu iki çalışma da, yani MATLAB üzerinde yapılan benzetim çalışmaları ve gerçek zamanda laboratuvar deneyleri, yöntemin işlerliğini ve başarımını teyit etmiştir.Bu tez üzerine olası gelecek geliştirme çalışması olarak sistemdeki belirsizliklere karşı dayanıklılık analizleri yapmak ilk akla gelen çalışma olmaktadır. Ayrıca, yüksek mertebeden gerçek sistemler üzerinde bu geliştirilen EKF tabanlı ve gerçek zamanlı ters optimal kontrol yöntemin uygulamalarını yapabilmek de önemli bir aşama olacaktır kanısındayız.

he design of optimal controllers for nonlinear systems has been an area of intense research interest in control theory. Optimal nonlinear control deals with the problem of finding a stabilizing control law for a given nonlinear system while achieving a certain optimality criterion. The traditional approach to solve the nonlinear optimal control problem leads to a Hamilton-Jacobi-Bellman (HJB) equation that has no exact analytical solution for general nonlinear systems. In this study, the inverse optimal controller methodology based on defining an appropriate quadratic control Lyapunov function (CLF) has been chosen as the basis for the proposed methods. The inverse optimal control problem, which was initially presented by Kalman for linear systems, deals with the question of whether a given state feedback can be the optimal control with respect to some useful performance index.// This thesis proposes two different approaches to implement the inverse optimal controller design for affine-in-input discrete-time nonlinear systems.In the first approach, the parameters of the candidate CLF were optimized in an off-line manner by using Particle Swarm Optimization (PSO) and Big Bang-Big Crunch (BB-BC) algorithms. Then, the inverse optimal controller that relied on a multi-objective optimization criterion in off-line manner is also proposed; where the root-mean-square-error (RMSE) of system states with respect to a reference trajectory and the sum-of-squares of control effort are utilized as the multi-objective optimization criterion in the Big Bang-Big Crunch optimizing algorithm.In order to test the performance of the proposed off-line approach, a nonlinear example from the literature of inverse optimal control is firstly taken into consideration. Next, the proposed controller is used to stabilize an inverted pendulum on cart. Simulation results within the MATLAB show that the proposed method can effectively solve the nonlinear optimal control problem for affine-in-input discrete-time nonlinear systems.//Secondly, an inverse optimal control approach based on extended Kalman filter (EKF) algorithm to solve the optimal control problem for affine-in-input discrete-time nonlinear systems is presented. In this on-line approach, the parameters of the candidate quadratic CLF were estimated by adopting the EKF equations. The RMSE of system states is used as the observed error in the equations of EKF algorithm; whereas, here, the EKF tries to eliminate the same RMSE error defined over the parameters by generating a CLF matrix with appropriate elements. The performance and the applicability of the proposed scheme is illustrated through both simulations performed on two different nonlinear system models and a real time laboratory experiment. Simulation study demonstrate the effectiveness of the proposed method in comparison with two other inverse control approaches from the literature. Finally, the proposed controller is implemented on a professional control board to stabilize a DC-DC boost converter and minimize a meaningful cost function. The experimental results show the applicability and effectiveness of the proposed EKF-based inverse optimal control even in real time control systems with a very short time constant.//In order to compare the results of the proposed EKF-based inverse optimal control approach with classical linearizion based technique, this thesis proposes an effective solution to the HJB equation for linear systemcases. Indeed, this solution leads to the traditional linear quadratic regulator (LQR) controller which is the most popular technique that provides an optimal control law for linear systems among the state space feedback control strategies. However, the conventional LQR controller synthesis is unfortunately an iterative process due to the trial and error approach involved in determining the parameters values of the weighing matrices $Q$ and $R$. In the proposed method, the BB-BC optimization algorithm is used to find an appropriate value for theses weighing matrices $Q$ and $R$; thus avoiding the repeated adjustment process of LQR parameters in constructing the state feedback optimal control law. Here, a special performance fitness function that is inversely proportional to the certain time domain step response criteria of a dynamical system is proposed for the optimization procedure. In order to test the performance of the proposed method, firstly a simulation study is done within the MATLAB to stabilize an inverted pendulum on cart. Then, the proposed controller is used in a real time implementation to stabilize a DC-DC boost converter benchmark in the lab. Both MATLAB simulations and laboratory experiments demonstrate the effectiveness of the proposed BB-BC based LQR controller.