Low-cost 3D reconstruction of objects

Abstract

Bilişim alanında 3B modellerin yeri önem kazanmıştır ve gözetim, kültürel mirasın korunması gibi birçok uygulamada bu modellere ihtiyaç duyulmaktadır. Bu gibi uygulamalarda gerçek nesnelerin 3B dijital temsilleri kullanılmaktadır. Gerçek nesnelerin yeterli düzeyde hassasiyet ile taranması lazer tarayıcılar ile yapılmaktadır, fakat bu aletler pahalıdır ve kullanılması sıradan bir kullanıcı için zordur. Son zamanlarda düşük maliyetli ve ulaşılması kolay olan menzil sensörleri ile yüksek kalitede tarama yapılması üzerine çalışmalar olmaktadır.Bu tez çalışmasında, ucuz menzil sensörleri ile 3B tarama teknolojileri geliştirme üzerinde araştırmalar yapılarak; Kinect sensörü ile bir tarama sistemi önerisinde bulunulmuştur. Çalışma; veri alma, örtüştürme ve yüzey oluşturma olarak bölümlendirilmiş olup, ilgili algoritmaların bu kısımlardaki performansları test edilmiştir. Sonuçlar hassasiyet, tamamlılık ve etkin değer(RMS) kritelerine göre sayısal olarak karşılaştırıldığı gibi görsel açıdan da incelenmiştir. Yapılan literatür araştırması ve elde edilen deneysel bulgular ışığında 3B tarama sistemi önerisi yapılmıştır.Menzil imajlarını filtreleme işlemi için geliştirilmiş algoritmalar, biri halka açık biri bizim oluşturduğumuz iki veri kümesi üzerinde incelendi. Çift yanlı (bilateral) filtreleme, sayısal ve görsel sonuçlar birlikte göze alındığında en iyi sonuç veren algoritma olarak değerlendirildi. Önerdiğimiz sistemde menzil imajları taranıp, çift yanlı filtreleme ile filtrelendikten sonra elde edilen nokta bulutları yerel olmayan genel odaklı örtüştürme ile birleştirilir ve Poisson algoritması ile poligon model oluşturulur. Poisson algoritmasında octree derinliğinin sonuç üzerindeki etkisi de deneysel olarak incelenmiştir.

In today's computing, 3D models are a vital part of many applications from surveillance to cultural heritage preservation and most of these systems require digital representations of real world objects. Acquiring real world objects with accuracy is carried out by laser scanners which are expensive to use and they are complicated for a regular user to operate. Research is now focused on building low-cost, yet high-quality scanners with cheap range sensors.In this thesis, we research the field of 3D scanning with commodity range sensors and propose a system design with Kinect. We modularize our work as data acquisition, registration and surface reconstruction; and evaluate corresponding algorithms on how they perform on Kinect depth output. We compare the results in accuracy, completeness and RMS metrics as well as assess the visual quality output. From the literature survey and experimental analysis that we have done, we propose a framework for 3D reconstruction with Kinect commenting on the possible improvements.Algorithms for filtering depth images are evaluated against two datasets, one is publicly available and one is compiled by us. Bilateral filtering is the best performing when both quantitative and visual results considered. In the proposed scanner setup, the depth maps are acquired and filtered with bilateral kernel, and registered with a globally optimal graph based registration scheme which is shown to be appropriate for scanning full loops around an object. The final cloud is input to Poisson algorithm to produce a mesh representation. The effect of the octree depth size for Poisson is investigated on both visual and quantitative aspects.