Motion control of robot by using 3D camera

Abstract

Endüstride birçok zaman zor koşullarda çalışması için insan gücü yerine robot gücü kullanılmaktadır. Özellikle kaynak yapmak, yük taşımak ya da montaj yapmak için robot sistemleri kullanılmaktadır. Robotu kullanmak içinse uzaktan kontrol sistemleri geliştirilmiştir. Kinect Kamera gibi 3 boyutlu kameralar uzaktan kontrol sistemlerinde iyi bir alternatif sunmaktadırlar. Çünkü kamera ile yapılan robot kontrolünde kullanıcının robotu kontrol etmesi için kumanda gibi cihazlar kullanmasına gerek yoktur. Bu çalışmada da Kinect kamera kullanılarak robot kol için bir uzaktan kontrol sistemi tasarlanmıştır. İlk önce Kinect kamera kullanıcının iskelet izlemesini yaparak, tüm eklemler için koordinatları tespit etmektedir. Bu iskelet izlemesi Microsoft'un resmi yazılım kütüphanesi kullanılarak elde edilmiştir. Bu tespit edilen noktalar eklemler arasındaki açıların hesaplanması için kullanılmıştır. Daha sonrada bu hesaplanan açı değerleri 4 eksenli robotik kola gönderilmiştir. Böylece uzaktan kontrol sistemi sağlanmıştır. Bu uzaktan kontrol sistemi temelde üç aşamadan oluşmaktadır. İlk aşamada kullanıcının eklem bilgileri geliştirilen bilgisayar programıyla alınır. İkinci aşamada bu alınan veriler nokta çarpımı ve ters kinematik metotları ile ayrı ayrı işlenir. Üçüncü aşamada ise metotlar sonucu hesaplanan açı değerleri robot kola gönderilir. Bu aşamalar sırasında bir adet Kinect kamera, bir adet bilgisayar, bir adet Arduino Uno mikro kontroller ve son olarak da 3 boyutlu yazıcı yardımıyla yapılan bir adet robot kol kullanılmıştır. Kinect kamera daha öncede söylediğimiz gibi kullanıcının eklem koordinatlarını bulmak için kullanılmıştır. Bilgisayar ise ara yüz programını oluşturmak için kullanılmıştır. Bu program C# programlama dilinde Visual Studio 2015'de geliştirilmiştir. Ayrıca açı hesaplamaları da bu programın arka planında gerçekleşmektedir. Arduino Uno hesaplanan açıları robot kola göndermek için kullanılmaktadır. Bu yüzden bilgisayar ve robot kol arasında bir köprü görevi görmektedir. Robot kol (EEZYbotARM MK2, EEZYRobotsTM), tüm parçaları açık kaynak kodlu olan ve 3 boyutlu yazıcıda bastırılıp birleştirilmiştir. Geliştirilen projenin amacı Kinect kamera yardımıyla robot kol için uzaktan kontrol sistemi geliştirmektir. Geliştirilen sistem uygun fiyata mal olmuştur. Ayrıca endüstri veya eğitim için kolayca değiştirilerek kullanılabilmektedir.

In industrial applications, the operatives have to use robots which are in a risky environment. Tele-control represents a good solution to control the robot from distant places (for example during handling, welding or assembling operations) maintaining the right level of safety. An innovative solution can be the use of Time-Of-Flight (TOF) cameras (for example Kinect camera, Microsoft TM) to remote control the robotic system without using other types of wearable or holding controllers.In the current work, the movement of the human body is captured with Kinect Camera by measuring 3D point clouds. The human body skeleton is then tracked by using skeleton tracking developed thanks to the Microsoft Kinect Software Development Kit (SDK). Furthermore, the measured joints are used in order to calculate the angles between the human limbs. All these data are finally used for the remote control of a four axis robotic arm. All parts of the robotic arm were made and reconstructed using a 3D printer.A remote control system is created for a 3D printed robotic arm by using Kinect Sensor. The system is composed of three parts. The first part aims to find the upper limb's joints by using the point clouds acquired by the Kinect Sensor; the second part calculates the dot product method and the kinematics equations of the robot arm; the last part sends the processed data to the robot to control the movement.The system is composed of the Kinect Camera, a computer for creating a program, a microcontroller and a Robotic arm. The Kinect Camera, which is a kind of TOF camera is able to measure the 3D coordinate of the scene. It can be used to track the human body skeleton and to recognize the human gesture.The computer is used as a bridge to receive data from Kinect sensor and to send the processed data to the microcontroller. The visual interface program is developed in Visual Studio 2015 with C# language to calculate the angles between limbs.Arduino Uno, which is a kind of microcontroller, is used in the present project. The purpose of the microcontroller is to drive the servo motors of the robotic arm.A four axis open source 3D robotic arm is used in this work (EEZYbotARM MK2, EEZYRobotsTM). All parts of the robotic arm are printed by a 3D printer and reconstructed completely. In the following, the logic of the system will be explained more in detail. The data processing starts to capture the user joint coordinates by using Kinect camera. The Data is sent to the computer in order to calculate the upper limb joints angles by using the developed software. In the background of the program two methods, which are the dot product method and the inverse kinematics method, are used. Afterwards, the calculated angles are sent to the Arduino Uno microcontroller via an USB-cable. The motors are controlled by using the Pulse-Width-Modulation (PWM) technique.The aim of this project is to create a remote control system for a robotic arm based on the Kinect sensor. The human movements were recorded and transferred to the robotic device. A well-priced control system was created which can be used for industrial purposes as well as for educational applications.