S-learning: A multi-agent reinforcement learning method

Abstract

oz S-OGRENME: BİR ÇOKLU-ETMEN TAKVIYE-OGRENME METODU Kuter, Uğur Yüksek Lisans, Bilgisayar Mühendisliği Bölümü Tez Yöneticisi: Doç. Dr. Faruk Polat Haziran 2000, 48 sayfa Çoklu-Etmen Sistemlerinde öğrenme günümüzde önem verilen bir araştırma konusudur. Çoklu-Etmen sistemleri içerdikleri hareketli varlıklar sayesinde dinamik ve belirsiz bir yapıya sahiptir. Bu tip sistemlerde, diğer makina-öğrenme metodları arasından Takviye- Öğrenme (TO) en çok gelecek vaadeden yöntemdir. Bunun nedeni, TO 'nün varlıkların içinde bulundukları dünya ile iletişimleri üzerine kurulmuş olmasıdır. Bu yüzden takviye- öğrenme, Çoklu-Etmen sistemlerinde etkili öğrenme potansiyeline sahip olan mekaniz malar önermektedir. Fakat bugüne kadar geliştirilmiş olan TO tabanlı algoritmalar dinamik ve belirsiz ortamların getirdiği problemlere çözüm önerememişlerdir. Bunun nedeni bu algoritmaların üzerinde çalıştıkları ortam hakkında sabit ve daha önceden be lirlenmiş bilgi modellere gereksinim duymalarıdır. Bu tezde, yeni bir takviye-öğrenme tabanlı algoritma önerilmektedir. Bu algoritma özel olarak Çoklu-Etmen sistemleri için geliştirilmiş olup, değişime açık bilgi üzerinden öğrenmektedir. Dinamik ve belirsiz bir ortamda düzenlenen deneylerde, bu algoritmanın bilinen diğer takviye-öğrenme tabanlı metodlara oranla daha tatmin edici sonuçlar verdiği gözlenmiştir. Anahtar Sözcükler: çoklu-etmen öğrenme, çoklu-etmen koordinasyonu, takviye öğrenme iv f77.İl

ABSTRACT S-LEARNING: A MULTI-AGENT REINFORCEMENT LEARNING METHOD Kuter, Ugur M.S., Department of Computer Engineering Supervisor: Assoc. Prof. Dr. Faruk Polat June 2000, 48 pages Learning in Multi-Agent Systems (MASs) is a hot research problem today. MASs involve many non-stationary entities, which give the systems a dynamic and non- deterministic nature. In such systems, Reinforcement Learning (RL) is the most promising paradigm among the other machine learning methods. This is because RL is based on the interactions of the entities with the environment in which they are oper ating. Due to this fact, RL has the potential to provide effective learning mechanisms for the MASs. However, currently developed RL-based algorithms cannot cope with the dynamic and non-deterministic environments since their learning mechanisms are based on the pre-defined models and static knowledge models about the environment. In this thesis, a new RL-based algorithm, called S-Learning, is presented. This algo rithm is designed for MASs and does perform learning on data that is open-to-change. It is shown in the experiments that S-Learning gives very satisfactory results in a dy namic and non-deterministic simulated environment compared to the other RL-based algorithms. Keywords: multi-agent learning, multi-agent cooperation, reinforcement learning m