Vehicle tracking by fusing monocular camera and vehicle to vehicle comunication on a real time basis

Abstract

Günümüzde otonom araçlar trafikte aktif olarak kullanılmaya başlanmış durumda. Bu araçları sürücüden geri bildirim almaksızın belirli koşullarda kendini sürebilen taşıtlar olarak tanımlayabiliriz. Otonom araçlar şeritleri algılayıp takip edebildiği gibi diğer araçları da algılayarak gerekli durumlarda fren sistemini devreye sokabilmekte ve hatta şerit değiştirebilmektedir. Bu teknolojinin alt yapısı ise sürücü destek sistemleri tarafından oluşturulmaktadır. Bu sistem sayesinde araçlar yol ve trafik durumunu analiz ederek gerekli eylemleri uygulayabilmektedirler. Bu işlemler yol üzerindeki diğer araçların, şeritlerin, bariyerlerin ve hatta yayaların algılanması problemini önemli kılmaktadır. Bu nedenle bu sistemlerin gerçek zamanlı olarak çalışma gereksinimi de doğmaktadır.Bu alanda yapılan çalışmalar çoğunlukla görüntü sensörü, LIDAR, mikrodalga sensör vb. kullanımı ile gerçekleştirilmiştir. Ancak bu cihazlar hali hazırda nesnelerin çok çeşitlenmesi, ışık değişimleri, kısa menzil, yüksek işlem gücü gereksinimi ve maliyet gibi parametrelerden etkilenmektedir. Bu çalışmamızda IEEE 802.11p araç-araç haberleşmesiyle desteklenmiş tekil görüntü sensörü tabanlı bir sistem önerilmektedir. IEEE 802.11p araç-araç haberleşmesi sayesinde yukarıda belirtilen görüntü sensörünün eksilerinin telafi edilmesi hedeflenmiştir. Sensör ölçümleri particle filter algoritması kullanılarak birleştirilmiştir. Ayrıca gerçek zamanlı çalışma gereksiniminden dolayı NVIDIA Tegra Jetson TK1 geliştirme kartı kullanılarak üzerindeki GPU üzerinde de performans testleri yapılmış ve CPU sonuçları ile de karşılaştırılmıştır.

Nowadays autonomous cars have already started to be used in our daily lives. They are the new generation vehicles, which are able to operate themselves under certain conditions without the need of a driver's response. They can follow the lane markers and keep themselves inside the lane, track the vehicles around and decide and perform a break or even change the present lane where necessary. Driver assistance systems are the underlying technology of these vehicles. It enables them to analyze the road and traffic conditions in order to take these kinds of necessary actions. This makes the task of detection of objects at the road such as vehicles, lane markers, guardrails and even pedestrians walking by highly important. For this reason, it is also very substantial to be able to operate in real time conditions.Current studies focused on this area are mostly based on vision sensor, LIDAR, microwave sensors etc. However, they alone suffer from conditions such as high variety of targets, lighting fluctuations, short range, requirement of high process power, cost etc. In this work, we introduce a monocular camera based system, which is enhanced with the IEEE 802.11p vehicle-to-vehicle communication standard. By the help of IEEE 802.11p we aim to compensate the cons of the vision sensor systems which are mentioned above. Sensor measurements are fused using the particle filter algorithm. Due to importance of real time requirement, we also made tests on the GPU accelerated NVIDIA Tegra Jetson TK1 development board and compare with the CPU results for future development.