3D pose estimation from stereo images

Abstract

Bu tez çalışmasında, stereo görüntüden 3 boyutlu (3B) insan pozu tahmin edilmeye çalışılmıştır. Yaklaşımımız, bir insanın iskelet yapısını oluşturmak için 2 boyutlu (2B) görüntüler üzerinde her bir vücut noktasını tahminlemek ve bulmak için ısı haritalarını ve konum haritalarını oluşturan evrişimli sinir ağı modelini kullanmaktadır. Bu modelin çalışmasından elde edilen bilgilerle insan iskeleti eklemlerinin 2B koordinatları tahmin edilmektedir. 3B eklem konumları hesaplanarak, referans alınan güncel çalışma ile karşılaştırılabilecek sonuçlar elde edilmesi hedeflenmiştir.3B stereo RGB kamera ile çekilmiş olan 3B sınırlı resim seti yürüyüş, sandalye üzerinde oturma, yemek yeme, selamlaşma v.b. gibi farklı çevre pozisyonları ile oluşturulmuştur. Görüntüler, sol ve sağ resim olarak ikiye ayrıldıktan sonra referans alınan güncel çalışmada sunulan, eğitilmiş evrişimsel sinir ağ modeli, her iki resim için ayrı ayrı çalıştırarak 2B düzlemde 21 farklı insan iskelet noktası tahmin edilmiştir. Bulunan noktalardan yola çıkarak derinlik hesaplanmış ve 2B stereo resimden stereo eşleştirme yöntemi ile 3B insan iskeleti pozu elde edilmesi amaçlanmıştır. 3B stereo verinin toplanması maliyetli olması ve hazırda gereken tüm bilgileri ile paylaşılmış olan bir veri seti mevcut olmadığından dolayı az veri ile en iyi karşılaştırma sonuçlarına erişmek için farklı pozisyonlardan görüntüler barındıran bir veri seti oluşturulmuş ve testler bunun üzerinden yapılmıştır. Elde edilen sonuçlar referans alınan çalışma ile karşılaştırılmıştır.

In this study, we aim to estimate 3-dimensional (3D) human poses using stereo images. Our approach uses a Convolutional Neural Network model that creates heat maps and location maps to estimate the location of each joint on 2-dimensional (2D) images to create a human skeletal structure. The 2D coordinates of the human skeleton joints are estimated by the information obtained from the operation of this model. By calculating the 3D joint positions, it is aimed to obtain results that are comparable with the current study's results.A limited set of 3D pictures, which are taken with a 3D stereo RGB camera in different environments and in different poses such as walking, sitting on a chair, eating, greeting, etc. 21 different human skeleton joint locations were obtained in 2D plane by processing separated left and right images, using the trained convolutional neural network model presented in this study. The depth is calculated by using the stereo matching method from the joint locations found and the 2D stereo images to obtain 3D human skeleton pose. Since the collection of 3D stereo data is costly and there are no publicly available data sets with all the information we need to calculate the depth, a data set containing images in different poses have been created and used for testing. The comparisons made between the referenced study's results and our results.