Spatial 3D local descriptors for object recognition in RGB-D images

Abstract

Ucuz ve göreceli olarak yüksek çözünürlüklü sayılabilecek, renk ve derinlik bilgilerini eş zamanlı kaydedebilen RGB-D algılayıcıların yaygınlaşması ile birlikte, açık kaynak kodlu nokta bulutu işleme yazılımları üzerine çalışmaların da artması robotik ve üç boyutlu görü alanlarındaki çalışmaları önemli ölçüde arttırmıştır. Bu alanlardaki birçok uygulamanın önemli adımlarından biri olması nedeni ile, özellikle ilgi çeken konuların en başında nesne tanıma gelmektedir. Bu tezde, özellikle nesne tanıma alanında kullanılmak üzere iki adet, üç boyutlu, uzamsal nokta bulutu tanımlayıcı önerilmiştir; Uzamsal Eşmerkezli Yönlü Yüzey Nokta Çiftleri Histogramı (SPAIR) ve RenkliUzamsal Eşmerkezli Yönlü Yüzey Nokta Çiftleri Histogramı (CoSPAIR). Önerilen tanımlayıcılar, birçok halka açık veri kümesi üzerinde, açık kaynak kodlu `Nokta Bulutu İşleme Kütüphanesi` (Point Cloud Library - PCL) içinde bulunan en gelişkin tekniklerle karşılaştırılmıştır. Gerçekleştirilen bu deneyler göstermiştir ki, önerilen CoSPAIR tanımlayıcısı, en gelişkin yöntemlerden hem kategori hem de örnek seviyesinde önemli miktarda üstündür. Elde edilen başarım artı¸sının kategori seviyesinde 9.9, örnek seviyesinde ise 16.49 yüzdelik puana kadar çıkabildiği gözlemlenmiştir.

Introduction of the affordable but relatively high resolution color and depth synchronized RGB-D sensors, along with the efforts on open-source point-cloud processing tools boosted research in both computer vision and robotics. One of the key areas which have drawn particular attention is object recognition since it is one of the crucial steps for various applications. In this thesis, two spatially enhanced local 3D descriptors are proposed for object recognition tasks: Histograms of Spatial Concentric Surflet-Pairs (SPAIR) and Colored SPAIR (CoSPAIR). The proposed descriptors arecompared against the state-of-the-art local 3D descriptors that are available in Point Cloud Library (PCL) and their object recognition performances are evaluated on several publicly available datasets. The experiments demonstrate that the proposed Co- SPAIR descriptor outperforms the state-of-the-art descriptors in both category-level and instance-level recognition tasks. The performance gains are observed to be up to 9.9 percentage points for category-level recognition and 16.49 percentage points for instance-level recognition over the second-best performing descriptor.