Single and multi-frame motion deblurring for legged robots: Characterization using a novel FD-AROC performance metric and a comprehensive motion-blur dataset

Abstract

Kabiliyetli bacaklı robotlar, yüksek hızlarda değişken arazilerde kıvrak bir şekilde hareket edebilen yapılardır. Bu yapıların hareketleri, hareket hızı ve yüzeye bağlı olarak robot gövdesinde ciddi salınımlara neden olmaktadır. Bu yapılara monte edilmiş olan kamera algılayıcıları da aynı bozanetkenlere maruz kalmakta ve dolayısıyla hareket bulanıklığına yol açmaktadır. Bu resimdeki bir bozulmadır, bilgi kaybına ve resimdeki önemli öznitelik noktalarının kaybolmasına yol açmaktadır. Literatürdeki birçok çalışma ve önerilen başarım ölçütleri genel olarak hareket bulanıklığına maruz kalmış olan resimlerin görsel kalitesi ve bunun artırılması üzerine odaklanmaktadır. Ancak, özniteliklerin tespit başarımı, bilgisayarla görme algoritmalarının başarımındaki önemli bir etkendir. Bu çalışmanın amacı, bacaklı bir robot üzerindeki hareket bulanıklığının analizi ve bulanıklık giderme yöntemlerinin öznitelik tespit başarımına odaklı olarak değerlendirilmesidir. Bacaklı bir robot üzerinden alınan ardışık resim karelerindeki farklı hareket bulanıklığından yararlanılarak çok kareli bir hareket bulanıklığı giderme yöntemi önerilmiştir. Hareket bulanıklığı ve giderilmesinin ölçümünde, öznitelik tespit başarımı temelinde yeni bir başarım ölçütü önerilmektedir. Literatürde halihazırda, bacaklı robotların hareketinden kaynaklanan hareket bulanıklığı ve bunun giderilmesi için kullanılabilecek bir veri kümesi bulunmaması nedeniyle, çoğul algılayıcı verisi içeren kapsamlı bir veri kümesi oluşturulmuştur. Veri kümesi, tekgözlü kamera resim dizileri ile eş zamanlı olarak toplanmış olan düşük maliyetli MEMS dönüölçer, hassas bir fiberoptik dönüölçer ve harici olarak ölçülmüş olan referans hareket verisinden oluşmaktadır. Bu veri kümesi kullanılarak, literatürde öne çıkan hareket bulanıklığı giderme yöntemlerinin, önerilen öznitelik temelli ölçüt ile kapsamlı olarak kıyaslaması yapılmıştır.

Dexterous legged robots are agile platforms that can move on variable terrain at high speeds. The locomotion of these legged platforms causes oscillations of the robot body which become more severe depending on the surface and locomotion speed. Camera sensors mounted on such platforms experience the same disturbances, hence resulting in motion blur. This is a corruption of the image and results in loss of information which in turn causes degradation or loss of important image features. Most of the studies in the literature and the proposed performance metrics focus mainly on the visual quality of motion blurred images and its improvement. However, from the perspective of computer vision algorithms, feature detection performance is an essential factor that determines their performance. The aim of this study is to analyze and evaluate motion blur on a legged robot and the deblurring methods with a focus on feature detection. We propose a multi-frame motion deblurring method utilizing the variable motion blur in consecutive image frames captured from the camera on a legged mobile robot. For a comparison of blurred and deblurred images, we define a novel performance metric based on the feature detection accuracy. Noting that a suitable data set to evaluate the effects of motion blur and its compensation for legged platforms is lacking in the literature, we develop a comprehensive multi-sensor data set for that purpose. The data set consists of monocular image sequences collected in synchronization with a low cost MEMS gyroscope, an accurate fiber optic gyroscope and an externally measured ground truth motion data. We make use of this data set for an extensive benchmarking of prominent motion deblurring methods from the literature in terms of the proposed feature based metric.