Depth-guided super-resolution of 3D video

Abstract

Bu tez 3 Boyutlu (3B) videolar üzerinde çözünürlük iyileştirme problemini inceler.Çözünürlük iyileştirme problemi monoküler videolar üzerinde daha önce genişçeincelenmiş olsa da stereo/çoklu-görüş videolar üzerinde 3B çözünürlük artırımı ile ilgiliçalışmalar oldukça yenidir. Bu tez, derinlik tabanlı stereo/çoklu-görüş video temsil vesıkıştırma formatlarındaki son gelişmeleri dikkate alarak çoklu-görüş 3B videolar içinderinlik yardımlı bir çözünürlük artırma yöntemi önermektedir.Çözünürlük iyileştirmenin gerçekleştirilebilmesinde çoklu görüşlerin piksel-altıhassasiyette hizalanmasının kritik olması nedeniyle geleneksel piksel tabanlı stereoeşleştirme yerine kabaca düzlemsel görüntü parçalarının ilgin hareketine dayalı birparametrik hizalama yaklaşımı kullanıyoruz. Düzlemsel görüntü parçalarının bölütlenmesive ilgin hizalanmaları derinlik katmanı haritalarıyla yönlendiriliyor.Bunun yanı sıra, 3 Boyutta çözünürlük iyileştirmenin değişik stereoskopik ekranlarüzerinde öznel değerlendirme testlerini de yürüttük.

This thesis investigates the problem of super-resolution (resolution enhancement) inmulti-view 3D video.Although the super-resolution problem has been widely studied for monocular video,work on 3D super-resolution of stereo/multi-view video is rather new. Given recentadvances in depth-based stereo/multi-view video representations and compression formats,this thesis proposes a depth-guided super-resolution method for multi-view 3D videos.Since sub-pixel registration of multiple views is crucial in achieving super-resolution, weemploy a parametric registration approach based on affine motion of approximately planarimage patches rather than traditional pixel-based stereo matching. The segmentation ofplanar image patches and their affine registration is guided by depth layer maps.We also conduct subjective visual evaluation tests of super-resolution in 3D on differentstereoscopic displays.