Auto-conversion from 2D drawing to 3D model with deep learning

Abstract

Modelleme, bilgiyi kullanıcılara aktardığı için her zaman önemli olmuştur. Bilgisayar ekranındaki ilk çizgide, sanal gerçeklik uygulamalarına kadar bütün temsil teknikleri tasarım endüstrilerinin algılama, iletişim kurma ve uygulama biçimlerini genişletmiştir. Her bir temsil tekniği bir diğerinin temeli, bilgi kaynağı ve veri tedarikçisi haline gelmiştir. Ancak, bir temsilin içerdiği bilgiyi başka bir temsilin bilgisine dönüştürmek için doğru veriye, kalifiye personele ve insan müdahalesine ihtiyaç duyulmaktadır. Bu araştırma, bu sorunları gidermek için düşük seviyeli veri kaynaklarından yüksek seviyeli dijital modellere otomatik bir yeniden yapılanmayı temsil etmeyi amaçlamaktadır. Bu otomatik dönüştürme işlemi yalnızca mimari kullanımı inceler ve farklı alanlarda kullanılabilirliğinin bir örneğini oluşturur. Bu tez kapsamında sıfırdan toplanan ve/veya üretilen 2B kat planları ve cephe çizimleri veri seti olarak kullanılmıştır. Bu veriler, ilgili mimari bilgiyi elde etmek için üç farklı Evrişimsel Sinir Ağı ile anlamsal olarak bölünmüştür, çünkü Derin Öğrenme yaygın kullanımıyla, geniş bir problem yelpazesini çözmede umut verici başarılar göstermektedir. Anlamsal olarak bölümlendirilmiş çizimler daha sonra Dijital Geometri İşleme yöntemleri kullanılarak 3B modele dönüştürülür. Son olarak, herhangi bir kullanıcının kolaylıkla 3B model elde etmesini ve kullanmasını sağlamak için bir web uygulaması tanıtılmıştır. 2B ortamdaki anlamsal bölümleme sonuçları ve 3B'deki iki vaka çalışması, sürecin doğruluğunu temsil edebilmek için farklı ölçümleme yöntemleriyle ayrı ayrı değerlendirilmiştir ve karşılaştırılmıştır. Sonuç olarak, bu araştırma, en gelişmiş yöntemlerle 3B modellerin yeniden yapılandırılması için otomatik bir işlem önermiş ve teknik bilgisi olmayan bir kişi için bile kullanıma hazır hale getirmiştir.Anahtar Kelimeler: Mimari Çizim Veri Seti, 3B Yeniden Üretim, Anlamsal Bölütleme, Evrişimsel Sinir Ağları, Dijital Geometri İşleme

Modeling has always been important as it transfers knowledge to end users. From the very first line on a computer screen to AR/VR applications have broaden the perception, communication and implementation of design-related industries, and each representation technique has become one another's base, information source and data supplier. Yet, transforming the information that one includes into another has still major problems. It requires precise data, qualified personnel and human intervention. This research aims to represent an automated reconstruction from low level datasources to higher level digital models in order to eliminate these problems. This autoconversion process only examines the architectural usage and makes a sample of its usability in different fields.2D floor plans and elevation drawings in raster format, which are collected and/or produced from scratch, are used as datasets. These drawings are semantically segmented with three different Convolutional Neural Networks to obtain relevant architectural information since Deep Learning shows promising success to solve a wide range of problem with its widespread use. Semantically segmented drawings are then transformed into 3D by using Digital Geometry Processing methods. Lastly, a web application is introduced to allow any user to obtain a 3D model with ease. Semantic segmentation results in 2D and two case studies in 3D are evaluated and compared separately with different metrics to represent accuracy of the process.To conclude, this research has proposed an automated process for reconstruction of 3D models with the state-of-the-art methods and made it ready for use even for a person without technical knowledge.Keywords: Architectural Drawing Dataset, 3D Reconstruction, Semantic Segmentation, Convolutional Neural Networks, Digital Geometry Processing