Multi-view structure from motion software platform for augmented reality applications

Abstract

Sensör, bilgisayar ve görselleme teknolojilerindeki hızlı gelişme, hareketten yapı çıkarımı tekniklerinin navigasyon, insan-bilgisayar etkileşimi, eğitim, eğlence ve eklenmiş gerçeklik gibi uygulamalarda kullanımı nı arttırmıştır. Hareketten yapı çıkarımı, genel olarak 2B öznitelik tespiti, öznitelik eşleştirme ve 3B öznitelik çıkarımından oluşur. Bizler gelişmiş bazı açık kaynak kodlu 3. parti araçları biraraya getiren bir yazılım platformu sunuyoruz. Bu araçlar genellikle komut satırından kullanılmakta ve birçok parametreye sahiptirler. Bu araçlar çıktı olarak kendi özel formatlarında dosyalar üretmektedirler ve kullanıcının bilgileri alabilmesi için bu dosyaları çözümlemesi gerekmektedir. Yazılım platformumuz, bu araçların konfigürasyonu ve önemli parametrelerin ayarlanması ve bunların yanı sıra da çıktıların istenildiği gibi çözümlenmesi ve saklanması için görsel birtakım arayüzler sunmaktadır. Platform ayrıca 2B özniteliklerin ve çıkarılan 3B noktaların karşılık gelen imgeler üzerinde gösteriminin yanında öznitelik noktaları arasında 3B mesafe ölçümüne olanak tanıyan görsel arayüzler de sağlamaktadır. Araştırmacıların kolayca erişimi için platformun kaynak kodunu açmayı planlıyoruz.

Rapid development of sensor, computer and display technologies led to increased usageof structure from motion techniques in many applications including navigation,human-computer interaction, training, entertainment, and augmented reality. Structurefrom motion techniques usually involve 2D feature detection, feature matching,and 3D feature extraction. We present a software platform which brings togetherstate-of-the-art open-source third-party tools for structure from motion. These toolsare generally used via a command prompt and have a large number of parameters.The output les of these tools also have their own specic format and users usuallyneed to write special parsers to extract the information they need from these les.Our software platform provides several easy-to-use visual interfaces to congure andset the important parameters of these tools as well as parse/save their out les asdesired. Our platform also provides visual interfaces to display the detected 2D featuresand extracted 3D points on their respective image frames, as well as allowingfor making 3D distance measurements between feature points. We are planning tomake the source-code of our system openly available to researchers.