Risk assessment of autonomous vehicle using Markov decision process

Abstract

Akıllı aracın otonom karar vermesi, gerçek dünyanın trafiğinin belirsiz, karmaşık, sürekli olması ve araçların birbiriyle etkileşime girmesi nedeniyle en kritik ve en zorlu modüldür. Bu tezde, karayolu trafiğinde, çevresel araçların stokastik davranışlarıyla etkileşime giren ego araç davranışlarını göstermek için, pekiştirme öğrenme algoritmalarına dayalı bir karar alma önerilmektedir. Sunulan çözücü algoritmalar, otonom araç problemleri için Markov Karar Süreci olarak formüle edilmiştir.Önerilen algoritmalar, farklı senaryolarla test ve analiz edilmesi için bir simülasyon ortamında uygulanır. Daha sonra, uygulanan farklı algoritmaların verimliliği belirtilen kriterlere göre karşılaştırılır. Test edilen senaryoların simülasyon sonuçları, ego otomobilinin otoyolda belirsiz davranışı olan diğer otomobillerle çarpışmadan güvenli sürüş yapmak için şerit değiştirme ve hızlanma veya yavaşlama yeteneğine sahip olduğunu göstermektedir.

Autonomous decision making of intelligent vehicle is one of the most critical and challenging module due to the fact that traffic of real world is uncertain, complex, continuous and vehicles interact with each other. In this thesis, a decision making based on reinforcement learning algorithms is proposed to represent ego vehicle behaviors interacting with the stochastic behaviors of the environmental vehicles in highway traffic. The presented solver algorithms are formulated as Markov Decision Process (MDP) for autonomous vehicle problems.Proposed algorithms are implemented in a simulation environment so that they are tested and analyzed with different scenarios. Then, efficiency of different implemented algorithms are compared based on specifed criteria. The simulation results of tested scenarios show that ego car is capable of lane change and accelerate or decelerate in order to perform safe driving without any collision with other cars which have uncertain behavior in highway.