3D scanner implementation for shiny surfaces using color invariants

Abstract

Bilgisayar sistemlerindeki gelis¸meler, gerc¸ek d¨unyadaki nesneleri sayısallas¸tırmaihtiyacını beraberinde getirdi. Bilgisayar grafi˘gi uygulamaları ic¸in, oyun ve film end¨ustrisi,nesnelerin u¨c¸ boyutlu modellerine ihtiyac¸ duymaktadır. U¨ c¸ boyutlu modelleme, hızlı prototip¨uretme, tıbbi uygulamalar ve k¨ult¨urel mirası koruma alanlarında da genis¸ ¨olc¸ ¨ude kullanılmaktadır.Bu uygulama alanlarına yo¨nelik deg˘is¸ik tarayıcı tu¨rleri tasarlanmıs¸tır. U¨ c¸boyutlu tarayıcı t¨urlerini iki ana bas¸lık altında ¨ozetleyebiliriz: Y¨uzey teması olan tarayıcılarve y¨uzey teması olmayan tarayıcılar. Y¨uzeye dokunan tarayıcılar, y¨uzey teması olan tarayıcılart¨ur¨undendir. Pek c¸ok uygulamada kullanılırlar, ancak ulas¸ılması zor kısımları olan nesneleric¸in uygulanamazlar. Time of flight tarayıcılar ve ¨uc¸genleme tabanlı structured lighttarayıcılar y¨uzey teması olmayan tarayıcıların t¨urleridir. Time of flight tarayıcılar fotonunnesneye ulas¸ma zamanını ¨olc¸me prensibi ile c¸alıs¸ırlar. Bu t¨ur tarayıcılar, y¨uksek c¸ ¨oz¨un¨url¨ukl¨usonuc¸ verir, ama yavas¸ sistemlerdir. Structured light tarayıcılar, ¨uc¸genleme prensibine dayanır.Nesneye ¨ozel bir desen veya bir s¸erit yansıtılır. Y¨uzeyin ¨uc¸ boyutlu yapısına g¨ore, s¸erit deformasyonau˘grar. S¸ eridin bu deformasyonu, nesneye bilinen bir ac¸ı ile bakan kamera tarafındanyakalanır. Bu yerles¸tirme, ¨uc¸gen s¸eklini olus¸turur. Bu ¨uc¸geni temel alan basit trigonometrikhesaplar ile, derinlik bilgisi elde edilir.C¸ ekilen g¨or¨unt¨u ¨uzerindeki c¸izgi bilgisini elde etmek ic¸in imge is¸leme kullanılır. Nesneniny¨uzey yapısı ve ortamın ıs¸ıklandırma kos¸ulları, yakalanan g¨or¨unt¨un¨un kalitesini etkiler.Parlak veya yansıyan y¨uzeylerde, ortamın aydınlatması parlayan y¨uzeyde ıs¸ı˘gın g¨or¨uld¨u˘g¨ukısımlar yaratır. Bu kısımlar, is¸lenen g¨or¨unt¨u ¨uzerinde g¨ur¨ult¨u olarak g¨or¨un¨ur. Bu problemic¸ ¨ozmek ic¸in birtakım filtreleme uygulamaları kullanılır, ancak bunlar problemi tamamenc¸ ¨ozmezler. Pratikte, y¨uzeyin yansımasını azaltmak ic¸in, y¨uzey pudra gibi yansıtıcılı˘gı olmayanmaddeler ile kaplanır. Ancak, arkeolojik bulgularda elde edilen nesnelerde y¨uzeyeozen g¨ostermek gerekir. Bu nedenle, bu t¨ur nesnelerde pudra uygulamak nesnenin y¨uzeyinezarar verebilir.Bu c¸alıs¸ma, parlak y¨uzeyleri aydınlık ortamda tarama probleminin c¸ ¨oz¨um¨u ¨uzerindeodaklanmıs¸tır. Biz, bu problemi c¸ ¨ozmek ic¸in renk de˘gis¸mezlerini kullanmayı ¨oneriyoruz.Renk de˘gis¸mezleri, c¸ekilen g¨or¨unt¨ude s¸eridin rengini vurgular. Bu y¨uzden s¸erit c¸ıkarımı,aydınlatma s¸artlarından ve nesnenin y¨uzey yapılarından etkilenmez. Yeni bir de˘gis¸mez¨oneriyoruz ve bunu iki t¨ur tarayıcıda gerc¸ekles¸tirdik. Bir lazer tarayıcı ve bir s¸erit yansıtantarayıcı tasarladık ve gerc¸ekles¸tirdik. Parlak ve mat y¨uzeyli nesneler ¨uzerinde deneyleryaptık ve sistem ¨uzerinde gerc¸ekles¸tirdi˘gimiz de˘gis¸mezin bas¸arısını g¨ozlemledik. Literat¨urde¨onerilen de˘gis¸mezleri denedik ve verilen s¸artlarda elde edilen sonuc¸ları kars¸ılas¸tırdık. Deneylerinsonuc¸ları g¨osterdi ki, ¨onerdi˘gimiz renk de˘gis¸mezi hem parlak hem de mat y¨uzeylerdec¸izgi bilgisini bas¸arıyla c¸ıkarabiliyor. Literat¨urde ¨onerilen di˘ger de˘gis¸mezlerden bazılarıfarklı y¨uzeylerde bas¸arılıydı. Sonuc¸ olarak kurulan sistemde, parlak y¨uzeyi olan ve olmayannesnelerin ¨uc¸ boyutlu modellerini bas¸arıyla elde ettik.

The improvements on computer systems derived the need of digitizing the objectsof the real world. The game and movie industry needs 3D models of objects for computergraphics applications. Also, 3D modelling is widely used in the areas of rapid prototyping,medical applications and cultural heritage protection facilities. There are various types ofscanners designed according to these application areas. We can summarize the types of 3Dscanners under two main headings. The scanners with surface contact and without contact.The surface touch scanners are the type of the scanners that contact to the surface. They areused in many applications but they are not applicable for the objects with hard to reach parts.The time of flight scanners and triangulation based structured light scanners are the types ofnon contact scanners. The time of flight scanners work on principle of measuring the timeof photon to fly to the object. This gives a high resolution result but it is a slow system. Thestructured light scanners are based on triangulation principle. A special pattern or a stripe isprojected to the object. The stripe deforms according to the 3D structure of the surface. Thisdeformation of the stripe is captured by a camera placed with a known angle to the object.This orientation creates a triangular shape. By simple trigonometric calculations based onthis triangle, the depth information is extracted.The extraction of stripe information from the captured image is made by image processing.The surface structure of the object and the lighting conditions of the medium affectsthe quality of the captured image. The illumination of the medium creates glowing partsand highlights on the shiny or specular surfaces. This can be considered as noise on theimage processed. Some filtering applications are used to solve this problem, but they do notovercome the problem entirely. In practice, powder like opaque materials are used to coversuch surfaces to reduce the specularity of the surface. However, objects like archeologicalfindings need special treatment. Therefore, applying powder may result with damages on thesurface of the object.This study focuses on solving the problem of scanning shiny surfaces in an illuminatedmedium. We propose using the color invariants to solve this problem. Color invariants helpextracting color properties of objects without being affected by imaging conditions like theillumination of the environment and the surface properties of the object. We propose a newinvariant and implement it with two types of scanners. We designed and implemented alaser scanner and a stripe projecting scanner. We performed experiments on shiny and mattesurfaced objects and observed the success of the invariant implemented on the system. Wealso tested the invariants proposed in literature and compared the results on given conditions.The results of the experiments showed that the color invariant we proposed can extract theline information both on shiny and matte surfaces successfully. The other invariants proposedin literature also had success on different surfaces and some did not. As a result of wholesystem setup, we obtained 3D models of the objects with shiny surfaces and matte surfacessuccessfully.