Simultaneous human-robot learning for efficient skill synthesis

Abstract

Yakın gelecekte robotların ve otonom birimlerin günlük yaşamımızın bir parçası haline geleceği beklenmektedir. Fakat, robotları bütün olası görevler için klasik yöntemlerle programlamak mümkün değildir. Bu sebeple, robot programlamayı kolay ve erişilebilir hale getirmek robotik alanındaki aktif çalışma alanlarından biridir. Bu konuda katkı sağlamak amacıyla insan ve robotun eşzamanlı adaptasyonunu temel alan insan etkileşimli `döngüde insan' robot beceri sentezi çerçevesini sunuyoruz. Bu çerçevede, aslında öğretici olan kişi robotu kontrol etmeyi ve verilen bir görevi gerçek zamanda gerçekleştirmeyi öğrenmektedir. Aynı zamanda, robot da karmaşık ilişkili dinamik sistemleri öğretici insanın yönlendirmeleriyle öğrenmektedir. Bizim araştırmamızdaki temel amacımız, anlatılan sistemde beceri aktarım hızının nasıl artırılacağı ve aktarılan becerinin performansının nasıl yükseltilebileceği sorusuna bir çözüm bulmaktır. Beceri aktarım seansının başında, insan öğretici robotu tamamen teleoperasyonla kontrol etmektedir. Görev performansı geliştikçe, robot kontrolü eline almaya başlamakta ve en sonunda tamamen otonom hareket etmektedir. Önerdiğimiz çerçeve altında gerekli geliştirmeler yapılmış ve sonuçlar hareketli direk (cart-pole) donanımında, hareketli direk denge simülasyonunda ve dağ aracı (mountain car) görevlerinde gösterilmiştir. Eşzamanlı öğrenmenin standart sıralı öğrenme sistemlerine(robotların öğreticiyi gözlediği ve kontrolü eline almadığı öğrenim yöntemi) göre avantajlarını değerlendirmek amacıyla iki gruba bölünen insan öğreticilerle öğrenim deneyleri yapılmıştır. Ayrıca önerilen eşzamanlı çerçeveyi doğrulamak için, insan öğreticiyi modellemek üzere pekiştirmeli öğrenme uygulanmıştır. Elde ettiğimiz sonuçlarda, eşzamanlı öğrenim sürecini tamamlamış ve otonom hale gelmiş kontrolörün belirtilen görevlerde daha yüksek performansa ulaştığı görülmüştür.

It is generally expected that robots and autonomous agents will become a part of our daily lives in the coming decades. However, it is not feasible to program robots in advance for all possible tasks using classical robot programming. Therefore, intuitive and easy robot programming is one of the active research areas in robotics. We propose and implement a human-in-the loop robot skill synthesis that involves simultaneous adaptation of the human and the robot. In this framework, the human demonstrator learns to control the robot in real-time to make it perform a given task. At the same time, the robot learns from the human guided control creating a non-trivial coupled dynamical system. The research question we address is how this system can be tuned to facilitate faster skill transfer or improve the performance level of the transferred skill. At the beginning of the skill transfer session, the human demonstrator controls the robot exclusively as in teleoperation. As the task performance improves the robot takes increasingly more share in control, eventually reaching to full autonomy. The proposed framework is implemented and shown to work on some tasks such as physical cart-pole setup, cart-pole balance simulation, and mountain car. To assess whether simultaneous learning has advantage over the standard sequential learning (where the robot learns from the human observation but does not interfere with the control) experiments with two groups of subjects were performed. Moreover, reinforcement learning is applied to model a human demonstrator to verify simultaneous framework. The results indicate that the final autonomous controller obtained via simultaneous learning has a higher performance in the mentioned tasks.