A deep learning based real-time object detection implementation in a virtual instrument cluster

Abstract

Lüks ve güvenlik otomotiv endüstrisinde iki vazgeçilmez bileşen hale gelmiş durumdadır. Lüks, araç yolcular ile ilgiliyken güvenlik sadece yolcularla ilgili değil, aynı zamanda aracın kendisi ve aracı çevreleyen nesneler yani; insanlar, diğer araçlar veya herhangi yol kenarındaki nesneler vb. ile de ilgilidir. Bu tanım genellikle yol trafik güvenliği olarak adlandırılır. Araç ve yol trafik güvenliği için kullanılabilecek birçok teknoloji vardır.Bu çalışmada, sanal gösterge panelinde uygulanan Gelişmiş Sürücü Destek Sistemi (ADAS) oluşturmak için derin öğrenme tabanlı bir gerçek-zamanlı nesne algılama algoritması kullanılmıştır. Gerçek bir aracının CAN BUS'undan gelen veriler OBD-II portu üzerinden okunmuş ve tasarlanan gösterge panelinde gösterilmiştir. Sanal gösterge panelinin grafik arayüzü, alınan verileri gerçek-zamanlı olarak göstermek için OpenGL kullanılarak tasarlanmıştır. Arabaya monte edilmiş bir kamera tarafından görüntülenen canlı görüntüler, gerçek-zamanda nesne algılama ve sınıflandırma için nesne algılama algoritmasına iletilmiştir. Ardından, bu bilgilerin hepsi sanal gösterge panelinde tek bir entegre sistem olarak gösterilmiştir. Sistem 20 fps hızına ve 79% doğruluğuna kadar görüntü işleyebilmektedir.

Luxury and safety have become two indispensable components in the automotive industry. Luxury is related to the passengers of the vehicle themselves. But safety is related not just to the passengers, but also to the vehicle itself and the objects surrounding the vehicle including human beings, other vehicles and any other roadside objects. This definition is generally called road traffic safety. There are many vehicle and road traffic safety technologies.In this study, a deep learning based real-time object detection algorithm is used to create an Advanced Driver-Assistance System (ADAS) that is implemented in a virtual instrument cluster. The data coming from the CAN-BUS of a vehicle is read via ODB-II port and displayed in the cluster as well. A virtual cluster graphical interface is designed using OpenGL to show the received data in real-time. A live stream captured by a camera installed on the car is fed to the object detection algorithm for real-time object detection and classification. Next, all are shown in the virtual cluster as a one integrated system. The system is able to process by up to 20 fps and accuracy up to 79%.