Adaptive learning of symbolic numerical constraints in the real-world

Abstract

Robotlar çalışmaları esnasında birçok kısıtla karşılaşır. Görevlerini başarıyla tamamlayabilmek için robotların bu kısıtların farkında olması gerekir. Bu tezde robotların etkin bir biçimde ortam kısıtlarını öğrenebilmesi için bir ilişkisel öğrenme yöntemi sunulmaktadır. Ayrıca, yöntemin gerçek dünya koşullarında uygulanabilmesi için gerekli bileşenleri içeren bir uyarlanır öğrenme mimarisi önerilmektedir.Robotların karşılaştığı kısıtlar çevreden, çalışma amaçlarından ya da robotun kendi yapısından kaynaklanıyor olabilir. Ortamın kısıtları nesnelerin uzamsal yerleşiminden, görevlerin gereksinimlerinden ya da robotun eylem yürütmesini etkileyen diğer dış faktörlerden kaynaklanabilir. Robotun kısıtları robot donanımının fiziksel özelliklerinden ya da robot yazılımlarının limitlerinden ötürü oluşabilir. Kısıtların ihlal edilmesi yürütülen eylemlerin istenmeyen şekilde sonuçlanmasına sebep olabilir. Güvenli ve verimli bir robot sistemi kendi içsel kısıtlarına ve ortam kısıtlarına dikkat etmelidir.Kısıt bilgisi tasarımcı tarafından robota yüklenebileceği gibi, robotun kendisi tarafından da öğrenilebilir. Kısıtların robotun kendi gözlemlerinden öğrenilmesi sistemin esnekliğini ve uyarlanırlığını artırır. Genel amaçlı robotlar birçok farklı ortamda çalışabilir, dolayısıyla mümkün olan bütün kısıtların önceden tespit edilmesi zordur. Ortamın ve görevin koşulları zamanla değişiklik gösterebilir, bu yüzden robotun kısıt bilgisinin güncellenmesi gerekebilir. Robotun kısıtları kendi gözlemlerinden öğrenmesi bu sorunlara çözüm oluşturabilir.Bu tezde önerilen öğrenme sistemi ortam kısıtlarının sembolik seviyede öğrenilmesini amaçlar. Yöntemin temelinde Tümevarımlı Mantık Programlama (TMP) vardır. TMP bilginin ifadesi için sembolik mantık kullanan bir makine öğrenmesi yöntemidir. Bilginin bu şekilde ifade edilmesi ilişkisel özniteliklerin kullanılmasını mümkün kılmaktadır. Sembolik mantık kullanmanın bir diğer yararı da verilen gözlemleri ve artalan bilgisini kullanarak yeni bilgiler çıkarsama yeteneğidir. Bu sayede, öğrenme yöntemine, alan uzmanı tarafından tespit edilen kuralların ve önceden elde edilmiş bilgilerin verilmesi mümkün olur. Sembolik mantık, robotikte planlama ve çıkarsama sistemlerinde de kullanıldığı için TMP ile öğrenilen kuralların kolayca bu sistemlere aktarılması mümkündür.Ancak TMP'nin sayısal kısıtları öğrenmek konusunda eksiklikleri vardır. Bu yüzden öğrenme yöntemi tembel değerlendirme ve kısıt çözme ile geliştirilmiştir. Sayısal kısıtların ilişkisel bilgi korunarak öğrenilmesi bir kısıt çözme problemi olarak modellenmektedir. Geliştirilen yöntem, eğer mümkünse, tutarsız bir hipotezdeki sayısal değişkenlerin tanım kümelerini kısıtlayarak doğru hipotezler üretir. Geliştirilen yöntem Tümevarımlı Mantık Programlama'nın ilişkisel öğrenme kabiliyeti ile Kısıt Mantık Programlama'nın (KMP) sayısal çıkarsama kabiliyetini bir araya getirmektedir. Sayısal kısıtlar bir kısıt çözücü kullanılarak belirlenir. TMP'nin hipotez üretimi sırasında, eğer bir hipotez sayısal bir değişkene sahipse, bir kısıt sağlama problemi (KSP) çözülür. Bu KSP çözülerek sayısal değişkenin tanım kümesi içerisindeki bir aralık tespit edilir. Bu aralıktaki değerler hipotezdeki sayısal değişkenin yerine koyulduğunda hipotez olumsuz örneklerin hiçbirini gerektirmez ve olumlu örneklerin en az birini gerektirir. Bulunan aralık mümkün olan en geniş aralık olmalıdır. Eğer böyle bir aralık varsa, değişkenin tanım kümesinin bu aralığa kısıtlanması hipotezi tutarlı hale getirir. Yöntemin gerçek dünya ortamında çalışan robotlarda kullanılması amaçlandığı için zorlu dünya koşullarına uygun hale getirilmesi gerekmektedir. Bu çalışmada ele alınan koşullar gürültülü bilgi ve kavram kaymasıdır. Gürültülü bilgi robotun donanımsal zaafiyetlerinden ve dünya ortamının stokastik olmasından kaynaklanır. Robot amaçlanan davranışları yanlış yürütebilir ya da robotun topladığı sensör verileri kusurlu olabilir. Bir diğer zorlu dünya koşulu olan kavram kayması, bir kavramı açıklayan hipotezlerin zamanla değişmesidir. Eski hipotezler geçersiz hale geldiğinde sistemin hata oranı artar. Kavram kaymasının sebebi, genellikle, kavramın aslında gözlemlenemeyen bir bağlamla ilişkili olmasıdır. Gözlemlenemeyen bağlam değiştiğinde, onunla ilişkili olan kavramın da değişmesine neden olur. Gözlem yoluyla bu değişim fark edilemediği için kavram kaymasının tespiti için özel yöntemler geliştirilmiştir. Hatalar hem gürültü hem de kavram kayması tarafından oluşabileceği için tespit yönteminin bu ikisini ayırt edebiliyor olması gerekmektedir. Öğrenme sistemini gerçek dünya zorluklarına dayanıklı hale getirmek için bir uyarlanır öğrenme mimarisi tasarlanmıştır. Bu mimari sembolik sayısal kısıt öğrenme yöntemini temel alacak şekilde geliştirilmiştir. Gürültü zorluğunun aşılabilmesi için öğrenme yöntemine bir gürültü filtreleyici eklenmiştir. Gürültünün filtrelenmesi için veri yoğunluğuna duyarlı ve genel amaçlı bir yöntem seçilmiştir. Gürültü filtreleme, kısıt çözücünün girdilerine uygulanır. Öngörücü bileşen, öğrenme yönteminin çıktısı olan hipotezleri, artalan bilgisini ve gözlemlenen dünya durumunu değerlendirerek tahminlerde bulunur. Doğrulayıcı bileşen, yapılan tahminleri gerçekleşen çıktı ile karşılaştırarak hataları takip eder. Kayma saptayıcı bileşen, doğrulayıcıdan gelen bilgileri değerlendirerek kavram kaymasını tespit eder. Bu çalışmada kullanılan tespit yöntemi, daha önce öğrenilmiş olan hipotezlerin tahmin etme hatasındaki değişmeleri takip ederek çalışır. Kavram kayması tespit edildiğinde, gözlem geçmişinden yeni bir eğitim kümesi oluşturarak öğreniciyi tetikler. Öğrenilen yeni hipotezler öngörücü tarafından gelecekteki çıkarsamalarda kullanılır.Sunulan sistemin etkinliği, gerçek dünya ortamında yapılmış robot deneyleri ve bilgisayar ortamında oluşturulmuş deneyler ile değerlendirilmiştir. Bilgisayar ortamında oluşturulan deneylerde temel öğrenme sisteminin tek ve çok boyutlu kısıtları öğrenebildiği doğrulanmıştır. Gerçek dünya deneylerinde bir robot kolunun nesneleri yanyana koyabileceği yakınlık kısıtı ve bir insansı robotun bir kasedeki malzemeleri dökerken dikkat etmesi gereken açı ve yükseklik kısıtları öğrenilmektedir. Deney sonuçları, yapılan geliştirmelerin öğrenicinin etkinliğini ve gürbüzlüğünü artırdığını göstermiştir. Önerilen sistemin gerçek dünya ortamında elde edilen gürültülü veriden öğrenebildiği ve kavram kaymasını yakalayarak öngörü performansını artırdığı doğrulanmıştır.Bu tezde, sembolik hipotezler ve sayısal kısıtları bir arada öğrenebilen bir öğrenme yöntemi ve bu yöntemin gerçek dünya koşullarına uyum gösterebilmesi için yapılan gürültü filtreleme ve kavram kaymasına uyarlanırlık geliştirmeleri sunulmaktadır. Gelecekte birçok farklı geliştirme seçeneği bulunan bu sistemin, ömür boyu robot öğrenmesi senaryolarında, robotların yüksek seviye öğrenme ve düşük seviye öğrenme sistemleri arasında geçiş sağlamasında faydalı olacağı düşünülmektedir.

This thesis presents an adaptive learning system which can learn symbolic hypotheses representing numerical constraints using the observations of a robot. The system is based on a framework which deals with real-world conditions of noise and concept drift. Inductive Logic Programming (ILP) is used as the base learning method. ILP is a machine learning approach that uses first-order logic (FOL) for knowledge representation. FOL representation allows expressing relational features, which is not possible with attribute-based machine learning methods. Another advantage of using FOL is that it allows reasoning to derive facts from the given observations and background knowledge. FOL is also used in planning and reasoning systems, which makes the learned rules easily adaptable to these systems.The core learning method extends a well-known ILP system with a constraint solver and lazy evaluation. This extension deals with the limitation of ILP in learning numerical constraints. The extended learning method imposes constraints on the domains of the numerical variables in a hypothesis clause. If an appropriate constraint exists, addition of it transforms a previously inconsistent hypothesis into a useful one. Hence, the extended method combines the relational learning capability of Inductive Logic Programming and the numerical reasoning capability of Constraint Logic Programming.Finding appropriate constraints on the domains of variables is achieved using a constraint solver. During the ILP hypothesis generation, if a hypothesis contains a numerical variable, then a constraint satisfaction problem (CSP) is solved to find the largest interval in the domain of the variable, such that, when the values in this interval are substituted with this variable in the hypothesis, the hypothesis does not entail any of the negative examples but it entails at least one positive example. If such an interval exists, constraining the domain of this variable makes the hypothesis consistent.Since robot applications are targeted, learning symbolic numerical constraints should be robust under real-world conditions. The proposed system integrates a noise removal module to cope with uncertainties arising from the robot and its environment. Local outlier factor (LOF) method is used for noise removal since it does not require a prior cluster scheme and it takes densities into account. Noise removal is applied on the inputs of the constraint solver since it does not handle the noise itself. Another addition is a concept drift detector which makes the system adaptive to external and internal changes. A concept drift may render the previously learned hypotheses obsolete. Hence, the drift detection module continuously monitors the prediction success of the learned model, and requests the update of the learned hypotheses if necessary.The system is evaluated with robot experiments in the real-world and computer generated scenarios. The results of the experiments show that the enhancements increase the robustness and the effectiveness of the learner. It is observed that the presented system can learn from noisy data that is collected in the real-world environment, and it can improve the prediction performance by detecting concept drifts. The system is expected to be useful in lifelong learning scenarios and in compromising between low-level and high-level robot learning.