Pose estimation from 2D images by using 3D prior

Abstract

Nesne tanıma ve 3 boyutta pozunu tahmin etme bilgisayar görmenin popüler konularından biridir. Çünkü robotla ilgili uygulamalarda, sahne anlamlandırmada veya arttırılmış gerçeklik gibi bir çok geniş konu aralığında kullanımına ihtiyaç duyulmaktadır. Poz tahmin etme ile ilgili birçok yöntem geliştirilmiş olunsa da, bu yöntemlerin gerçek zamanlı çalışmamak, cismin bir kısmı başka bir cisim tarafından kapatıldığında pozu doğru tahmin edememe veya çok fazla cismin olduğu ortamlarda pozu tahmin etmekte zorluklar gibi bir veya birden fazla problemlere sahiptirler. Önerilen güvenilir yöntemler genelde başlangıçta benzer nokta eşleşmelerinin var olduğu saymaktadırlar veya özellik merkezli 3 boyutta obje takip etmektedirler. Fakat, bir objenin ilk pozunu tahmin etme bilgisayar görmenin hala çözülememiş problemlerinden biridir. İşin zorluğu belirli bir obje için hızlı ve dirençli poz tespitine ihtiyaçtan gelmektedir.Bu tezde, 3 boyutlu sabit bir cismin pozunu tahmin etme ile ilgili araştırma yaptım. poz tahmin etme aşamasında yardımcı olarak cismin 3 boyutlu üçgenlenmiş nokta bulutuna sahip olduğumuzu varsaydık. Yapılan yöntem 2 boyutlu resimden özellik çıkarma, 2 boyut - 2 boyut eş nokta belirleme, 2 boyut - 3 boyut eş nokta belirleme ve ince poz tahmini yapma gibi parçalara bölünebilir.Algoritmanın sonuçları Buda başı, çocuk ve melek heykeli olmak üzere üç tane obje kullanılarak değerlendirildi. Objelerin çeşitli açılardan pozları tahmin edilmeye çalışıldı. Derece olarak hatalar ve poz tahmin etme yönteminin tutarlılığı incelendi. Geliştirilen yöntemin uzak poz tahminlerine rağmen pozu doru bulup bulamaması incelendi. Bunlara ek olarak boyut farklılıklarına rağmen pozun bulunabilmesi ve hata oranındaki değişimler incelendi.

Object recognition and 3D pose estimation is one of the popular topics of computer vision because of vast applicability in the fields such as robotics, scene understanding, augmented reality etc. While many methods are developed to deal with pose estimation problem, they have at least one of these problems; not real-time capable, or not robust to occlusion or fail in cluster environments or specific to a class like car, human etc. Additionally suggested reliable methods depend on initialized correspondences or they track 3D models based on their features. Therefore, initial pose estimation is still unsolved issue for computer vision. The complication originates from the requirement for quick and strong detection of known objects in the image.In this dissertation, we research estimation pose of 3D rigid objects with a 3D mesh prior. 3D mesh of the object is constructed by using Kinect. Our work can be modularized as feature extraction from 2D image, 2D-2D corresponding point establishment, 2D-3D corresponding point establishment and fine pose estimation.The result of the pose estimation algorithm is evaluated by using three objects; Buda head, boy and angel statue. Estimation is tested from variety angles. Error in degrees and estimation consistency are analyzed. We analyze robustness of our algorithm to far initial given poses. Additionally robustness to scale variances of the algorithm and the error variance is also examined by using the boy statue.