A Behaviour-based robot control system using adaptive heuristic critic

Abstract

UYARLANIR BULUŞSAL KRİTİK ÖĞRENME KULLANAN DAVRANIŞ-TABANLI BİR ROBOT KONTROL SİSTEMİ Saraç, Ömer Sinan Yüksek Lisans, Bilgisayar Mühendisliği Bölümü Tez-Yöneticisi:. Assoc. Prof.. Dr.. Eerda. Nur. Alpaslan Ağustos 2002, 71 sayfa Öğrenme akıllı sistemlerin vazgeçilmez bir parçasıdır. Tasarım işlemi sırasında bütün ortam durumları ve durum-eylem çiftlerinin bilinmesi her zaman mümkün olmadığından, uyum sağlama ve öğrenme özellikle özerk gezer robot denetleme sistemlerinin tasarımında önemli bir rol oynar. Uyum sağlama yeteneği robotları karmaşık ve devingen ortamlarda daha başarılı yapar. Bu çalışma, enerji kaynaklarım bulmada daha başarılı olmak için ortamın içsel özelliklerine uyum sağlama yeteneği olan bir tepkisel denetleme sistemi sunuyor. Bu araştırmanın temel güdüsü, cok basit bir robotu pahalı ve karmaşık algısal yöntemler kullanmadan doğal yaşam alanında daha iyi rekabet edebilecek hale getirecek bir hayat-boyu öğrenme davranışı tasarlamaktır. Uyum gösteren davranışın elde edilmesinde uyarlanır buluşsal kritik öğrenme kullanıldı ve sonuçlar Q-öğrenmeninkilerle karşılaştırıldı. Deneyler, özellikle Khepera robotları için benzetim yapmakta kullanılan, Webots gezer robot benzetimcisi kullanılarak yürütüldü.Anahtar Kelimeler: Davranış-tabanlı robotbilim, robotik dolaşım, tepkisel dene tim, uyarlanır denetim, uyarlanır buluşsal kritik, takviye öğrenme

ABSTRACT A BEHAVIOR-BASED ROBOT CONTROL SYSTEM USING ADAPTIVE HEURISTIC CRITIC LEARNING M.Sc, Department of Computer Engineering Supervisor: Assoc. Prof. Dr. Ferda Nur Alpaslan August 2002, 71 pages Learning is an essential part of intelligent systems. Adaptivity and learning play an important role especially in designing autonomous mobile robot control systems, since it is not always possible to know the states of the world and state- action pairs during the design process. The ability to adapt makes the robots more successful and robust in complex and dynamic environments. This study presents a reactive control system for a Khepera robot with the ability to adapt to the inherent features of the environment to be more suc cessful in finding energy resources in a highly cluttered environment. The main motivation of this research is to design a life-long learning behavior that makes a very simple robot more competitive in its ecological niche without the use of expensive, complex perceptual methods. Adaptive heuristic critic learning was used to obtain adaptive behavior and the results were compared with those of Q-learning. Experiments are conducted on Webots mobile robot simulator, specifically designed for simulating a Khepera robot. Keywords: Behavior-based robotics, robotic navigation, reactive control, adap- mtive control, adaptive heuristic critic, reinforcement learning. IV