Reinforcement learning based energy management strategy for fuel cell hybrid vehicles

Abstract

Son yıllarda içten yanmalı motorların emisyonları sebebiyle çevreye etkisi problem olmaya başlamıştır. Daha temiz enerji teknolojilerilerine olan talep elektrikli ve hibrit araçların araştırma ve geliştirme sürecinin başlamasına sebep olmuştur. Ancak bataryaların karakteristik özellikleri yüzünden elektrikli araçların menzil, şarj etme süresi ve maliyet gibi bazı dezavatajları bulunmaktadır. Buna alternatif olarak bataryalar başka enerji kaynaklarıyla birlikte çalışmaktadır. Diğer enerji kaynakları konusunda yakıt hücreleri temiz, sürdürülebilir ve yüksek enerji yoğunluğuna sahip olması sebebiyle dikkat çekmeye başlamıştır. Yakıt hücreli hibrit araçların, bu sebeplerle içten yanmalı motorla çalışan araçlara alternatif olma potansiyeli vardır, ancak yakıt hücrelerinin yavaş dinamiğe sahip olması gibi bazı dezavantajları olması nedeniyle, bu tarz araçlardaki enerji kaynaklarının birlikte çalışması önem arz etmektedir.Bu tezin öncelikli amacı enerji kontrol stratejisi sorununa odaklanmaktır. Öncelikle aracın güç sistemi modellenmiş olup efektif bir enerji kontrol sistemi tasarlanmıştır. Öğrenme algoritmalarının farklı problemlere uygulanabilir hale gelmesinin avantajı kullanılarak kontrol sistemi modelden bağımsız çalışan derin deerministik ilke türevi (DDPG) algoritması ile eğitilmiştir. Enerji kontrol stratejisinin amacı yakıt hücresini en verimli bölgelerde çalıştırmak ve bunu yaparken bataryanın şarj seviyesindeki sapmaları en aza indirmektir. DDPG algoritmasıyla basit basamak güç girişleriyle eğitilen kontrol sisteminin performansı, farklı sürüş çevrimleri altında denenmiştir ve enerji tüketiminde /% 2.7 ye kadar varan bir azalış gözlemlenmiştir. Bu sonuçlar DDPG algoritmasının bu tarz uygulamalar için potansiyeli olduğunu göstermektedir.

There is an increasing concern on the usage of vehicles powered by internal combustion engines due to their high emission levels. The demand for cleaner energy technologies have led to research and development of electric and hybrid vehicles. Among these, fuel cell vehicles have started to draw attention due to the fact that it is clean, sustainable and it has high energy density. Thus, fuel cell hybrid vehicles have the potential to compete with vehicles powered by internal combustion engine in the future, yet there are challenges for fuel cell such as slow dynamics requiring that their operation together should be managed favorably.The primary objective of the thesis is to address the problem of energy management in fuel cell vehicles. For this purpose, first a model of the powertrain is developed. Then, in order to achieve an efficient energy management, a model free reinforcement learning algorithm called deep deterministic policy gradient (DDPG) is employed. The energy management strategy focuses on running the fuel cell in its high efficiency range while limiting the deviation of state of charge of the lithium-ion battery from a target value. It is found that the DDPG agent trained simply with step power inputs can achieve up to 2.7/% less energy consumption compared to commonly used rule-based energy management strategies while maintaining the state of the charge of the battery within a certain interval. Our results show that DDPG algorithm shows promising potential to be utilized in such applications.