Sembolik planlama için uzam-zamansal çıkarsamayla nesne modellerinin ve etkileşimlerinin öğrenilmesi

Abstract

Bu tez çalışmasında özerk eylem planlamada kullanılmak üzere ortamdaki çeşitli nesneler arasındaki etkileşimleri öğrenmeye yönelik bir yöntem sunulmaktadır. Öğrenme için ortamdaki nesneler üzerinde gözlemlenen olaylar ve zaman bilgileri ile nesnelerin ilk durumuna ilişkin uzamsal bilgilerden yararlanılmaktadır. Bunun dışında nesnelere ve türlerine ilişkin herhangi bir anlamsal bilgi ya da nesnelerin olaylar arasındaki durumlarına ilişkin bilgi kullanılmamaktadır. Nesne etkileşimlerini öğrenmek üzere uygun bir sınama ortamı olarak ?The Incredible Machine? bilgisayar oyunu kullanılmış ve öğrenme sisteminin başarımı nesneler arasındaki ilişkileri temsil eden farklı seviyelerde bilgi kullanılarak analiz edilmiştir. Nesneler arasında doğrudan gözlemlenebilen ilişkileri barındıran bir bilgi tabanı sisteme sağlandığında, etkileşimler daha sonra planlamada kullanılabilecek seviyede öğrenilmektedir. Ayrıca, nesnelerin uzamsal bilgileri ve olayların zamansal bilgileri üzerinden çıkarsama yapılarak da etkileşimler öğrenilebilmekte ve uzam-zamansal bir yaklaşımla bu bilgiler bir arada kullanılarak bilgi-tabanlı yaklaşıma yakın seviyede sonuçlar elde edilmektedir. İnsan seviyesinde bir müdahaleye gerek olmadan bilgisayarla görü teknikleri yardımıyla otonom bir şekilde elde edilmesi mümkün olan uzamsal ve zamansal bilgiler üzerinden çıkarsama yapmanın mümkün olması makine seviyesinde öğrenmenin başarılı olduğu sonucunu doğurmaktadır.

In this thesis, a method is proposed for learning interactions among different types of objects to devise plans using these objects. Learning is accomplished by observing a given sequence of events with their timestamps and using spatial information on the initial state of the objects in the environment. No further background information is available about the types of objects and their semantics, nor intermediate state information. ?The Incredible Machine? game is used as a suitable domain for learning object interactions and the performance of the learner is evaluated against the level of completeness of the knowledge about relations among objects in the environment. When a knowledge base containing directly observable relations is provided, interactions to devise new plans are learned to a desired extent. Moreover, using spatial information of objects or temporal information of events makes it feasible to learn the conditional effects of objects on each other and integrating spatial and temporal data in a spatio-temporal learning approach gives closer results to that of the knowledge-based approach by providing applicable event models for planning. This is promising because spatio-temporal information can be extracted autonomously by using computer vision techniques without human-level intervention.