3D human pose estimation from multi-view rgb images

Abstract

Son 10 yılda, görüntülerden 3 boyutlu insan pozu çıkarımı yoğun araştırma konularından biri. Tek bir görüntüden 3 boyutlu poz çıkaran algoritmalar geliştirildiler. Bununla beraber, çok fazla kameranın olduğu kurulumlar da mevcut. Bu tezde, Procrustes Analiz tekniğini kullanarak tek görüntüden elde edilmiş pozları hizaladıktan sonra aykırı değerlerden kurtulup nihai 3 boyutlu pozun kritik noktalarının kordinatlarını bulabilmek için medyan filtreleme kullanacağız. CMU Panoptic, MPI_INF_3DHP ve Human3.6M verisetlerinde yaptığımız deneyler önerdiğimiz sistemin insan bedenindeki kritik noktaları birleştirmesini hassas bir şekilde başarıyor. Ayrıca, kamera seçiminin, birleştirme performansını koruyarak sistem karmaşıklığını düşürmede faydalı olduğunu gözlemledik. Dinamik kamera seçiminin statik kamera seçime kıyasla birleştirme başarımı üzerinde belirgin bir etkisi olduğununa da ulaştık.

Recovery of a 3D human pose from cameras has been the subject of intensive research in the last decade. Algorithms that can estimate the 3D pose from a single image have been developed. At the same time, many camera environments have an array of cameras. In this thesis, after aligning the poses obtained from single-view images using Procrustes Analysis, median filtering is utilized to eliminate outliers to find final reconstructed 3D body joint coordinates. Experiments performed on the CMU Panoptic, MPI_INF_3DHP, and Human3.6M datasets demonstrate that the proposed system achieves accurate 3D body joint reconstructions. Additionally, we observe that camera selection is useful to decrease the system complexity while attaining the same level of reconstruction performance. We also derive that dynamic camera selection has a more significant impact on reconstruction accuracy as against static camera selection.