Playing the Turkish tile game okey with deep reinforcement learning

Abstract

Geçtiğimiz yıllardan bu yana oyunlar makine öğrenmesi çalışmaları için önemli bir test yatağı olmaktadır. Satranç, Dama, Go ve Poker oyunlarında pekiştirmeleri öğrenme algoritmaları kapsamında derin yapay sinir ağlarıyla fonksiyon tahminlemeyle kayda değer ilerlemeler yapılmıştır. Yapay zekalar, oyunlarda dünyadaki en iyi insan oyuncuları yenerek şampiyon veya süper insan seviyelerine ulaşmıştır. Bu çalışma Türk taş oyunu Okey'e odaklanır ve derin pekiştirmeli öğrenmenin yönlendirmesiyle yapay zekanın bu oyunu öğrenebileceğini ispatlamayı amaçlar. Okey'in kısmi gözlemlenebilir ortamı, olasılıksal doğası ve birbirleriyle tam rekabet içinde olan oyuncularıyla kendine özgü bir yapısı vardır. Bu çalışma öğrenen bir yapay zekanın hiçbir doğrudan yönlendirme olmadan, sadece taş çekerken ve taş atarken her adımda ödül sinyalleri alarak, tez boyunca anlatılan olasılıksal davranış meyilleriyle, aktör-kritik algoritmasıyla, önceliklendirilmiş tecrübe tekrarlarıyla oyunu öğrenmesine odaklanmaktadır. Öğrenen yapay zeka, özel tasarlanmış 2 kişilik Okey'i Gym ortamında rastgele oynayan bilgisayar rakibine karşı oynar. Oyun çatısı içinde, öğrenen yapay zeka, yere atılan taşlardan ya da ortadaki taşlardan rastgele çeken ve her zaman elinde boşta olan taşlardan atan bilgisayar rakibine karşı oynar ve bu yapısı onu, öğrenen yapay zeka için yeterince zorlu kılar. Yapılan deneyler boyunca elde edilen sonuçlar bu çalışmada sunulmaktadır ve yapay zekanın rakibine karşı kazanma oranları bu çalışmanın elde ettiği başarı seviyesi olarak görülebilir. Literatürde yapılan kapsamlı araştırma sonucunda bu çalışma, pekiştirmeli öğrenme kullanılarak Okey oyununu oynatan ilk çalışma olarak gösterilebilir.

Games are important test beds for machine learning studies for over the last decades. Significant progress has been made in games such as Checkers, Chess, Go and Poker with the help of deep neural networks used for function approximation within reinforcement learning algorithms. Agents were able to reach champion or superhuman levels by beating the top players of the world. This study focuses on the Turkish tile game Okey and aims to prove that agents can learn to play this game with the guidance of deep reinforcement learning. Okey has a unique setting where there is partially observable environment, stochastic nature and multiple players which are fully competitive. The study focuses on teaching a learning agent to play the game without any direct supervision, solely by receiving reward signals at each step for drawing and discarding tiles, with the help of stochastic policy gradients, actor-critic algorithm, prioritized experience replays which are explained thoroughly in this thesis. The learning agent plays against a random computer opponent in the custom Gym environment created for the Okey game as a two-player game version. Within the game framework, learning agent plays against an opponent that draws a tile from discarded tiles of the agent or from the center tile randomly, and always discards from the free tiles which makes it compelling enough for the learning agent. The results of the games through the experiments are reflected and win rates of the agent against the computer opponent can be considered as the achieved success of this study. Extensive research on the existing literature shows that this is the first study that uses reinforcement learning to play the game of Okey.