Hierarchical temporal memory based autonomous agent for partially observable video game environments

Abstract

Bir oyunun sunduğu tecrübede bilgisayar kontrollü karakterlerin inandırıcı olması ciddi bir önem arz etmektedir. Bu tezde gerçek zamanlı, gözetimsiz, hayat boyu öğrenme kabiliyetleri olan ve kullanıcıların etkileşimde bulunabileceği bir otonom ajan mimarisi sunuyoruz. Hiyerarşik Zamansal Hafıza ve Zamansal Farklılık öğrenmesi algoritmalarını, sinir bilim ve biyoloji araştırmaları doğrultusunda bir arada kullandık. Ajan gerçek zamanlı veri akışına sahip görsel sensörü aracılığı ile çevresinin bir modelini oluşturur. Ajanın temel amacı aksiyonları neticesinde aldığı ödüller doğrultusunda ardışık aksiyonlardan oluşan davranışlar öğrenmektir. Yöntemsel olarak oluşturulmuş, üç boyutlu ortamlarda hareket eden ajan, sürekli öğrenme halinde olup sinir ağını güncellemektedir. Ajanın sinir ağı herhangi bir anda kaydedilebilir ve geri yüklenebilir. Dolayısıyla farklı simülasyon seanslarında bile kaldığı yerden öğrenmeye devam edebilir. Farklı parametrelerle yapılan oyun içi öğrenme seanslarından derlenen veriler ile çalışma hızı, saklama, geri yükleme ve öğrenme kabiliyetleri ölçülmüştür. önerilen yöntem doğrultusunda denetime ihtiyaç duymaksızın ödül getiren davranışları öğrenme yeteneğine sahip, bilgisayar kontrollü bir karakter oluşturulmuştur. Karakter buna ek olarak kullanıcı yönlendirmeleri ile öğrenmeyi de desteklemektedir. Sonuç olarak, bu çalışmada yeni bir yaklaşım aracılığıyla bilgisayar kontrollü karakterler için gelecek vaat eden bir mimari sunulmuştur. Sinir bilim ve biyolojik kaynaklar doğrultusunda Hiyerarşik Zamansal Hafıza teorisine dayandırılarak oluşturulan bu mimari, kademeli geliştirmeye de gayet açıktır.

Believable non-player characters (NPC) can have a profound impact on the experience that a video game provides. This thesis presents an online, unsupervised and lifelong learning autonomous agent that the player can interact with. It has an architecture utilizing a combination of Hierarchical Temporal Memory and Temporal Difference Learning Lambda with the guidance of neurobiological research. The agent has a visual sensor with an online data stream. Input from this sensor feeds the architecture to model the surrounding environment. The goal of the agent is to learn rewarding sequences of behavior based on the stimulation it receives caused by its actions. It navigates in a procedurally generated three-dimensional environment and is in a continuous learning state adapting the synapses of its neural connectome. The architecture is also capable of being stored and loaded at any point allowing for persistent learning through multiple simulation sessions. The study presents the learning characteristics of the agent on a video game related learning task. We compared the data collected from the experiments with varying parameters along with providing the runtime and serialization performance. The proposed methodology results in an autonomous NPC that can learn rewarding behaviors without any supervision. Moreover, it is also capable of learning specific action sequences via player guidance. The result is a promising and novel NPC architecture that is also relatively open to incremental improvements through the relevant neurobiological studies and the advancements on the theory of Hierarchical Temporal Memory.