Effect of human prior knowledge on game success and comparison with reinforcement learning

Abstract

Bu çalışma, insanların önceki deneyimlerinden elde ettiği bilgilerin, ödül olmayan bir oyun ortamındaki insan başarısı üzerindeki etkilerini bulmayı ve daha sonra insan performansını bir pekiştirmeli öğrenme yöntemiyle karşılaştırmayı ve bu yöntemi insan davranışlarına ve performanslarına, elde edilen verilerin kullanılması ile, daha da yakınlaştırmayı amaçlamaktadır. Bu amaçla, basit bir 2B oyunun farklı versiyonları kullanılmış ve 32 katılımcıdan veri toplanmıştır. Deney sonunda, nesnelerin ve renklerin anlamı gibi önceki bilgilerin insan performansı üzerinde etkisi olduğu sonucuna varılmıştır. Pekiştirmeli öğrenme yöntemleri ile eğitilen ajanın ise aynı oyunu bitiremediği görülmüştür. Performansı arttırmak ve insan benzeri davranışları elde etmek için çeşitli denemeler yapılmıştır. Bunlardan birinde, nesneler hakkında önceden bilgi edinilmesi ve onlarla etkileşimin sağlanması için mini oyunlar hazırlanmıştır. Bir başka denemede, katılımcılardan toplanan oyun verileriyle bir model oluşturulmuş ve bu model pekiştirmeli öğrenme algoritması için bir keşif stratejisi olarak kullanılmıştır. Sadece insan verilerinin bir keşif stratejisiolarak kullanıldığı durumda, pekiştirmeli öğrenme ajanı oyunu bitirmeyi başarmıştır. Pekiştirmeli öğrenme algoritmasının performansı arttırılmış olmasına rağmen, insan benzeri davranış gözlenmemiştir. Sonuç olarak insanların sahip olduğu önceki bilgilerin oyun performanslarını etkilediği görülmüştür. Pekiştirmeli öğrenme yöntemleri kullanılarak eğitilen ajanın ise bu tip bir bilgiye sahip olmasının uygulama noktasında kolay olmadığı görülmüştür. Son olarak ajanın eğitiminde insan verileri kullanıldığı durumda dahi insan benzeri davranış gözlemlenmemiştir.

This study aims to find out the effect of prior knowledge on the success of humans in a non-rewarding game environment, and then to compare human performance with a reinforcement learning method in an effort to observe to what extent this method can be brought closer to human behavior and performance with the data obtained. For this purpose, different versions of a simple 2D game were used, and data were collected from 32 participants. At the endof the experiment, it is concluded that prior knowledge, such as the meaning of objects and colors, have an impact on human performance. It was observed that the reinforcement learning agent failed to finish the same game.Various attempts have been made to improve performance and to achieve human-like behavior. In one of these, mini-games were prepared to introduce prior knowledge of the objects and the interaction with them. In another trial, a model is created with the game data collected from participants, and the agent is trained using this model as an exploration strategy. Only when the human data is used as an exploration strategy, the agent succeeded in finishing the game. Although the performance of the reinforcement algorithm is increased, human-like behavior is not observed. The conclusion is that it is more meaningful to consider prior knowledge within the context ofexploration strategy, and having prior knowledge is not enough in achieving human-like behavior.