Reinforcement learning in non-stationary environments using spatiotemporal analysis

Abstract

Geleneksel pekiştirmeli öğrenme (PÖ) yöntemleri ortamın veya hedefindeğişkenlik gösterdiği durumlarda öğrenme sağlayamamaktadırlar. Bunun sebebi, PÖbiriminin hali hazırda öğrenmiş olduğu ortamı sil baştan yeniden öğrenememesidir. Busorunu çözmek amacıyla yavaş değişen ortamlarda, PÖ biriminin en son yaptığı eylemiyapmasının teşvik edildiği sezgisel yaklaşımlar olsada [Sutton And Barto (1998),Chapter9, Example9.3, p236-238], bunlar PÖ birimiyle aynı hızda hareket eden hedefleriçin yeterince hızlı sonuç vermemektedirler. Bu yazıda, yukarda belirtilen hareketlihedefler ve rekabet ortamını olduğu durumlar için yeni bir yöntem tartışacağız. Busorunun çözümü için hedefin konum-zaman bilgisi kullanılarak hazırlanan Stokastiksüreç, PÖ döngüsünde PÖ biriminin ödüllendirme mekanizmasına iliştirilip sorununçözümü için modüler bir yaklaşım sağlamış olacağız. Ayriyetten bu çalışmamızdayöntemimizin uygulanabilirliği ve performansını farklı problemler ile ölçüp AtariMs.Pacman oyunu ile değerlendireceğiz. Son olarak yazıda belirtilen yöntemin testleribaşarıyla tamamlayıp, hedef noktalarının başaralı bir şekilde tahminini sağladığını vegerekli stratejileri (pusu kurma, önünü kesme, hedefin amaçlarını anlama) uyguladığınıgörmüş olacağız.

Traditional reinforcement learning (RL) approaches fail to learn a policy to attaina dynamic or non-stationary goal. The reason for this is that the RL agent cannot startlearning the changed environment from scratch once it has converged to a policy beforethe environment has changed. While heuristic solutions where the RL agent is encouragedto use least recently attempted actions are successful for slowly changing environments[Sutton And Barto (1998), Chapter9, Example9.3, p236-238], they do not form asufficiently fast solution to follow a non-stationary goal state that moves with the samevelocity of the RL agent. In this paper, we will discuss a new approach to the problemwhere there is an adversarial relation present between the dynamic goal and the RL agent.To tackle this, the spatio-temporal information of the dynamic goal state is incorporated,in terms of stochastic processes, as the rewards of the RL agent into the environmentmodel thus enabling a modular solution to the problem. In addition, in this paper wepresent the method's robustness using different mazes where we assess the performanceof our method and also test our algorithm with the Atari Ms.Pacman game for somecomplex problem solving. Finally, the results of the experiments show that our methodsuccessfully predicts the rival agent's behavior and points of interest in which the rivalagent will pass through and ambush it at key positions.