Ground plane detection using an RGB-D camera for quadcopter landing

Abstract

Bu çalışmadaki amaç bir dört rotorlu ufak hava aracına özerk bir şekilde güvenli iniş alanı belirleme ve iniş yapma özelliği kazandırmaktır. Bunu sağlamak için birbirine bağlı önemli aşamalar vardır. Bu aşamaların ilki kararlı bir şekilde uçabilen dört rotorlu bir aracın kurulmasıdır.Bu amaçla, düşük maliyetli, kolay kurulabilir ve kararlı bir platform sunduğundan, ticari olarak mevcut olan ArduCopter ve Ardu Pilot Mega kontrol kartından oluşan platform ve açık kaynaklı ArduCopter yerleşik yazılımı kullanılmıştır. Bu haliyle sistem komutlar verilerek kalkış, iniş, asılı kalma ve uçuş rotasını takip etme fonksiyonlarını gerçekleştirebilmektedir. Bu çalışmada güvenli inişe uygun iniş sahalarının belirlenmesi için RGB-Derinlik kamerası kullanılarak bir yöntem geliştirilmiştir. Bu nedenle, dört rotorlu hava aracı platformu değiştirilerek RGB-Derinlik kamerası ve bir güverte bilgisayarı entegre edilmiştir. Bu çalışmada, Kinect derinlik kamerasından elde edilen derinlik bilgisine dayalı yeni ve gürbüz bir zemin düzlemi algılama algoritması önerilmektedir. Birçok farklı veri seti ile yöntemin başarılı bir şekilde çalıştığı gözlenmiştir. Yapılan karşılaştırmalı deneyler, önerilen algoritmanın mevcut V-disparity yönteminden daha iyi çalıştığını göstermektedir. Önerilen algoritma oldukça devinimli ortamlarda çalışabilmektedir. Ayrıca genele uygulanabilir bir yöntemdir.Önerilen zemin düzlemi algılama yönteminin aşağı-dönük bir platform için uygun olmaması dolayısıyla; güvenli iniş alanı belirlemekte yetersiz olmasından dolayı; mevcut yöntemin kullanılmasına olanak sağlayacak bir ön işlem tanımlanmıştır. Önerilen yöntem, hava aracının hareketlerinden kaynaklı olan kamera görüş açısındaki değişimleri başarılı bir şekilde telafi edebilmekte ve zemin düzlemi üzerindeki nesneleri algılayabilmektedir. Önerilen yöntemin ışık olmayan koşullarda dahi başarılı bir biçimde çalıştığı yapılan deneylerle gösterilmiştir. Bu projedeki ekipmanların tümü FMV Işık Üniversitesi iç araştırma BAP-10B302 projesi fonu ile finanse edilmiştir.

The purpose of this study is to build an autonomous quadcopter which is capable of automated detection of landing zones and landing. To ensure this there are important steps linked together.The first step is to build a quadcopter that can fly. We have used a commercially available quadcopter platform and an Ardu Pilot Mega control card to build a low cost, easy to implement, and stable platform. An open source firmware, named Arducopter, is used for the control card. This system can take-off, land, hover, and follow a given flight path.In order to detect of landing zones and safe landing, we propose to use an RGB-D camera as a sensor and a small onboard pc as the computing engine. Hence, we have modified the acquired quadcopter frame to integrate additional components. In this thesis, we propose a novel and robust ground plane and obstacle detection algorithm based on depth information using RGB-D camera. Moreover, our method was compared with V-disparity algorithm from the literature. It has been shown that our algorithm performs better than V-disparity method and produces useful ground plane-obstacle segmentations, even for difficult cases. The method is able to work in highly dynamic platforms. This algorithm is generic in the sense that it can be used for different forward-facing RGB-D placements, for example in ground vehicles or robots.Moreover, we developed a pre-process to allow the use of the method for down-facing sensor view positions as the core method is inadequate for landing zone detection. The proposed method compensates the movements of the camera caused by the air vehicle, and detects the ground plane obstacles successfully. It has been shown that the use of RGB-D camera allows ground plane and landing zone detection even in no-light conditions.All necessary components in this thesis were financed by FMV Işık University internal research funds BAP-10B302 project.