Sensör birleştirme teknikleri kullanılarak otonom robotik bir sistemin geliştirilmesi

Abstract

Otonom robotların çalışma prensibi temel olarak, ortamda bulunan sensörlerden elde edilen verilerin robotlar tarafından işlenip anlamlandırılması ve anlamlandırılan bu verilere karşı tepki oluşturulmasına dayanmaktadır. Otonom yapıya sahip robotik sistemlerin insan, hayvan veya yük taşımacılığında kullanılan araçlara aktarılması ile otonom araçlar kavramı ortaya çıkmaktadır. Özellikle insan hayatı söz konusu olduğunda, karar verme yetisine sahip otonom sistemlerin veya araçların daha donanımlı, kararlı ve yetkin olması gerekmektedir. Dolayısıyla otonom eylemleri sağlayacak kararı verme hususunda, otonom araçlarda kullanılacak olan sensörlerin nitelikleri çok önemlidir. Öte yandan, sensörlerin birbirlerine göre avantaj veya dezavantaja sahip olmaları onların birlikte kullanımını gerekli kılmaktadır. Birden fazla sensörün sağladığı veriler birleştirilerek kullanıldığında daha olumlu sonuçlar verebilmektedir. Yapılan tez çalışmasında, araştırmalar sonucunda elde edilen bilgiler ışığında sensör birleştirme uygulamasının yapılabilmesi için yeni bir yöntem üzerinde çalışılmıştır. Yapılan uygulamalarda daha önce Massachusetts Teknoloji Enstitüsü (MTE) Otonom Yarış Aracı (OYT) projesi temel alınarak OpenZeka firmasının düzenlediği yarışmalarda kullanılan Otonom Araç Geliştirme Kiti'nden faydalanılmıştır. Araç üzerinde bulunan kamera ve lazerli görüntüleme algılama ve mesafe (LIDAR) sensör verileri arasında sensör birleştirme işlemi gerçekleştirilmiştir. Robotik-Otomasyon ve Kontrol Laboratuvarı (RAKLAB) bünyesinde araç kiti için bir parkur oluşturulmuştur. Bu parkurda, otonom araç kiti üzerinde bulunan kamera ve LIDAR sensörlerinden alınan verilerin birleştirmesinden önceki parkurda sergilediği performans ile birleştirildikten sonraki performansları değerlendirilmiş ve otonom sürüş sistemine olan katkısı irdelenmiştir. Öncelikle, parkurdan alınan kamera görüntüleri Derin Öğrenme (DÖ) algoritmalarından biri olan Konvolüsyonel Sinir Ağları (KSA) modelinde eğitilmiştir. Sonrasında, LIDAR sensöründen elde edilen nokta bulutundaki veriler gri seviyeli piksel değerlerini içeren görüntülere çevrilmiş ve eğitilmiştir. Son olarak, kamera ve LIDAR görüntüleri KSA ağ modelinin Tam Bağlı Katmanlarında (TBK) birleştirilerek eğitilmiştir. Yapılan birleştirme işlemi sonrasında elde edilen eğitim sonuçları kurulan parkurda gerçek zamanlı olarak otonom araç kiti ile denenmiştir. Tek başına kameradan ve tek başına LIDAR sensöründen kaynaklanan hatalar en aza indirilmiştir.

The principle of the autonomous robots is based on the fact that the data obtained from the sensors in the environment is processed and interpreted by the robots and the response to these meaningful data is generated. The concept of autonomous vehicles emerges with the transfer of autonomous robotic systems to the vehicles used in human, animal or freight transportation. Especially when it comes to human life, autonomous systems or instruments with the ability to make decisions need to be better equipped, stable and competent. Therefore, the qualifications of the sensors to be used in autonomous vehicles are very important in making the decision to provide autonomous actions. On the other hand, the fact that the sensors have advantages or disadvantages compared to each other makes it necessary to use them together. The data provided by more than one sensor can be combined with more positive results. In the thesis study, a new method has been studied in order to perform the sensor integration application in the light of the information obtained as a result of the research. The Autonomous Vehicle Development Kit, which was used in the competitions organized by OpenZeka company, was used on the basis of MEC Autonomous Racing Vehicle (RACECAR) project. Sensor integration between the camera and Laser Image Detection and Ranging (LIDAR) sensor data on the vehicle has been performed. A track has been created for the vehicle kit within the Robotics-Automation and Control Laboratory (RACLAB). In this course, the performances of the camera on the autonomous car kit and the data received from the LIDAR sensors before being combined with the performance they performed on the track were evaluated and their contribution to the autonomous driving system was evaluated. First of all, camera images taken from the course were trained in Convolutional Neural Networks (CNN) model which is one of the Deep Learning (DL) algorithms. The data in the point cloud obtained from the LIDAR sensor were then translated and trained into images containing gray level pixel values. Finally, the camera and LIDAR images have been trained by combining the Fully Connected Layers (FCL) of the CNN network model. The training results obtained after the joining process were tested in real time with the autonomous tool kit in the established track. Errors caused by the camera alone and the LIDAR sensor alone are minimized.