An FPGA based high performance optical flow hardware design for autonomous mobile robotic platforms

Abstract

Optik akış, birçok bilgisayar ile görme uygulamalarında kullanılmaktadır. Ancak, yüksek işlem karmaşıklığı ve kısıtlı işlem kaynakları sebebiyle gezgin robot uygulamalarında kullanımı limitli olmaktadır. Gerçek zamanda optik akış hesaplayan donanımların eksikliği, bilgisayar ile görme literatüründe sunulan birçok başarılı çalışmanın gezgin robot araştırmalarında kullanılmasını kısıtlayan bir etmendir. Bu tez çalışmasında, gezgin robot uygulamaları için, gerçek zaman üstü optik akış verisi sağlayabilen küçük boyutlarda ve düşük güç tüketen yüksek performanslı bir FPGA donanım tasarımı yapılmaktadır. Horn ve Schunck tarafından sunulan tanınmış bir diferansiyel optik akış algoritmasının uygulaması yapılmıştır. Önerilen donanım tasarımının tamamı detaylı bir şekilde açıklanmıştır. Ayrıca, tasarım alternatifleri ve seçilen yöntemler gerekçekçeleriyle birlikte tartışılmıştır. Önerilen donanımın performans analizleri; işlem hızı, güç tüketimi ve doğruluk bakımından sunulmuştur. Tasarlanan donanım, literatürde optik akış yöntemlerinin performans değerlendirmesinde sıklıkla kullanılan mevcut bazı test dizileri ile sınanmıştır. Önerilen donanım, 256x256 pikselden oluşan görüntüler üzerinde optik akış hesabını saniyede 257 kare işlemeye karşılık gelen 3.89ms sürede hesap edebilmektedir. FPGA uygulamasından elde edilen sonuçlar, aynı algoritmanın PC donanımı üzerinde kayan nokta uygulamasından elde edilen sonuçlarla karşılaştırılmıştır. Elde edilen sonuçlar donanım uygulamasının, sabit nokta gösterim uygulamasından kaynaklanan doğruluktaki makul bir azalmaya karşılık, hız, güç tüketimi ve az yer kaplama bakımından üstün bir performans gösterdiğini ortaya koymuştur.

Optical flow is used in a number of computer vision applications. However, its use in mobile robotic applications is limited because of the high computational complexity involved and the limited availability of computational resources on such platforms. The lack of a hardware that is capable of computing optical flow vector field in real time is a factor that prevents the mobile robotics community to efficiently utilize some successful techniques presented in computer vision literature. In this thesis work, we design and implement a high performance FPGA hardware with a small footprint and low power consumption that is capable of providing over-realtime optical flow data and is hence suitable for this application domain. A well known differential optical flow algorithm presented by Horn & Schunck is selected for this implementation. The complete hardware design of the proposed system is described in details. We also discuss the design alternatives and the selected approaches together with a discussion of the selection procedure. We present the performance analysis of the proposed hardware in terms of computation speed, power consumption and accuracy. The designed hardware is tested with some of the available test sequences that are frequently used for performance evaluations of the optical flow techniques in literature. The proposed hardware is capable of computing optical flow vector field on 256x256 pixels images in 3.89ms which corresponds to a processing speed of 257 fps. The results obtained from FPGA implementation are compared with a floating-point implementation of the same algorithm realized on a PC hardware. The obtained results show that the hardware implementation achieved a superior performance in terms of speed, power consumption and compactness while there is minimal loss of accuracy due to the fixed point implementation.