Object manipulation by a humanoid robot via single camera pose estimation

Abstract

İnsansı robotlar insanların günlük yaşamlarına yardımcı olmaları için dizayn edilmiştir. Bu robotların fiziksel iş isteyen mesleklerde insanların yerini alması bekleniyor. Ayrıca robotların sağlık hizmetleri sektöründe de rol alması düşünülüyor. İnsansı robot bilimindeki nihai amaç robotların insanlarla tam olarak iletişim kurabilmeleri ve toplumun iş gücünde yer almalarıdır. Sıradan bir insanın günlük hayatını geçirdiği ortam bir çok farklı renkte ve dokuda nesneleri içerir. Bu tip nesneler robot tarafından gerektiğinde kolayce tespit edilebilmeli, nerede olduğu kestirilebilinmeli ve müdahale edilinebilmeli. Bu işleri yapabilmek için ortamdan yüksek miktarda veri alınmalı. Bilgisayarla görme alanı görsel özelliklerin resimden çıkarılması ve bu verinin bilgisayar sistemleri için kullanılması konusunda çalışmaktadır.Kameralarla alınan veriler diğer sensorlere gore ortamla ilgili karmaşık görevler için gereken verinin büyük bir kısmını taşımaktadır. Bu tip karmaşık görevlerin sağlanabilmsi için hedef nesnenin alınan veride bulunup diğer nesnelerden ayrılması ve nesnenin 3 boyutlu uzaydaki yerinin belirlenmesi gerekir. Bu tip görevlerde objenin robotun görüş alanında kalması gerekmektedir. Bu da görsel geribeslemeyle sağlanabilir. Bu tez bir humanoid robot için nesne manipulasyonu algorithması sunmaktadır. Hedef nesne olarak üstünde kırmızı bir kare işaretleyici olan beyaz bir nesne kullnılmıştır. Kırmızı karenin köşeleri bulunmuş ve bu köşeler objenin pozunun bulunmasında ve objenin kamera görüş hizasında tutulmasında kullanılmıştır. Elde edilen poz bilgisi navigasyon ve manipulasyon için kullanılmıştır. Bu algoritma insansı robot deney platform SURALP (Sabancı Üniversitesi Robot Araştırmaları Laboratuvar Platformu) üstünde uygulanmıştır.

Humanoid robots are designed to be used in daily life as assistance robots for people. They are expected to fill the jobs that require physical labor. These robots are also considered in healthcare sector. The ultimate goal in humanoid robotics is to reach a point where robots can truly communicate with people, and to be a part of labor force. Usual daily environment of a common person contains objects with different geometric and texture features. Such objects should be easily recognized, located and manipulated by a robot when needed. These tasks require high amount of information from environment. The Computer Vision field interests in extraction and use of visual cues for computer systems. Visual data captured with cameras contains the most of the information needed about the environment for high level tasks relative to the other sensors. Most of the high level tasks on humanoid robots require the target object to be segmented in image and located in the 3D environment. Also, the object should be kept in image so that the information about the object can be retrieved continuously. This can be achieved by gaze control schemes by using visual feedback to drive neck motors of the robot. In this thesis an object manipulation algorithm is proposed for a humanoid robot. A whiteobject with red square marker is used as the target object. The object is segmented by color information. Corners of the red marker is found and used for the pose estimation algorithm and gaze control. The pose information is used for navigation to the object and for the grasping action. The described algorithm is implemented on the humanoid experiment platform SURALP (Sabanci University ReseArch Labaratory Platform).