2 LRL: A two-level multi-agent reinforcement learning algorithm with communication

Abstract

oz 2LRL: BİR İKİ SEVİYELİ ÎLETİŞİMLÎ ÇOKLU-ETMEN TAKVÎYE- ÖĞRENME METODU Erus, Güray Yüksek Lisans, Bilişsel Bilimler Anabilim Dalı Tez Yöneticisi: Prof. Faruk Polat Ortak Tez Yöneticisi: Yrd. Prof. Bilge Say Eylül 2002, 59 sayfa Öğrenme `akıllı` bir hesaplamasal sistemin bir anahtar bileşenidir. Çoklu-Etmen Sistemlerinde öğrenme ortak hedefleri sağlama amacıyla işbirlikçi bir davranışın edinimini içerir. Takviye-Öğrenme (TÖ) erken dönem hayvanlarda öğrenme çalışmalarından esinlenmiş gelecek vaadeden bir denetlemesiz makina-öğrenme metodudur. Bu tezde bir çoklu-etmen ortamda işbirlikçi hareket seçimini sağlayan yeni bir çoklu-etmen öğrenme tekniğini, İki Seviyeli İletişimli Çoklu- Etmen Öğrenme (2LRL) algoritmasını sunuyoruz. 2LRL'de etmenin karar mekanizması, ilk seviyede hedefini seçmeyi ve ikinci seviyede bu hedefe yönelik hareketi seçmeyi öğrenecek şekilde hiyerarşik iki seviyeye bölünmüştür. Etmenler algılarını komşularına iletirler ve karar vermede iletişim bilgisini kullanırlar. 2LRL algoritmasını bir avcı-av alanında uyguladık ve tatmin edici bir işbirlikçi davranış gözlemledik. Anahtar Sözcükler: Çoklu-etmen Öğrenme, Takviye-Öğrenme, Edimsel Koşullama, Çoklu-etmen İşbirliği, İletişim iv

ABSTRACT 2LRL: A TWO-LEVEL MULTI-AGENT REINFORCEMENT LEARNING METHOD WITH COMMUNICATION Erus, Güray M.S., Cognitive Sciences Program Supervisor: Prof. Faruk Polat Co-Supervisor: Assist. Prof. Bilge Say September 2002, 59 pages Learning is a key element of an `intelligent` computational system. In Multi- agent Systems (MASs), learning involves acquisition of a cooperative behavior in order to satisfy the joint goals. Reinforcement Learning (RL) is a promising unsupervised machine learning technique inspired from the earlier studies in animal learning. In this thesis, we propose the Two Level Reinforcement Learning with Communication (2LRL) method, a new RL technique to provide cooperative action selection in a multi-agent environment. In 2LRL, the decision mechanism of the agents is divided into two hierarchical levels, in which the agents learn to select their target in the first level and to select the action directed to their target in the second level. The agents communicate their perception to their neighbors and use the communication information in their decision-making. We applied 2LRL method in a hunter-prey environment and observed a satisfactory cooperative behavior. Keywords: Multi-agent Learning, Reinforcement Learning, Multi-agent Cooperation, Communication 111 *'.,>, y