2-Boyutlu video ve derinlik haritası temelli 3-Boyutlu video kalite değerlendirmesi

Abstract

Günden güne gelişen 3 Boyutlu (3B) video teknolojilerine (kodlama, iletim, saklamavs) geri bildirim oluşturabilmesi dolayısı ile 3B Video Kalite Değerlendirmesi (VKD)günümüzde 3B video üreticileri için ihtiyaç haline gelmiştir. Bu ihtiyaç daaraştırmacıların ilgisini çekmiş ve önemli bir çalışma alanı haline gelmiştir. Böylecehem 2 Boyutlu (2B) hemde 3B metrikler geliştirilmeye başlanmıştır. Günümüzde,araştırmacılar tarafından 2B videolar için yaygın olarak kullanılan nesnel VKDmetrikler literatürde yerini almıştır. Fakat, 3B videolarda 2B videolarda bulunmayanderinlik, doğallık, yoğunluk hassasiyeti gibi bilgilerin bulunmasından ve bunlarındeğerlendirilmesinin zor olmasından ötürü İnsan Görsel Sistemi (İGS) ile yüksekilintiye sahip yaygın kullanımlı bir metrik 3B videolar için geliştirilememiştir. Bundandolayıdır ki, 3B VKD için halen zaman ve maliyet dezavantajları olmasına rağmenöznel testler kullanılmaktadır. Literatürdeki nesnel metrikleri ele aldığımızda üç başlıkaltında incelenmiştir: Tam Referanslı (TR), Azaltılmış Referanslı (AR) ve Referanssızmetrikler. TR metriklerin videoyu kalite değerlendirebilmesi için videonun orjinalinesahip olması gerekmektedir. AR metriklerin VKD yapabilmesi için orijinal videodizisinden elde edilen özniteliklerin olması gerekirken Referanssız metriklerin VKDyapabilmesi için orijinal videoya ya da özniteliklerine sahip olmasına gerek yoktur.Bu yüzden Referanssız metrikler zaman ve hız bakımından avantajlarının yanında bantgenişliğini de verimli kullanmamızı da sağlar. Dolayısıyla güvenilir bir Referanssız3B VKD metriği geliştirmek çok önemli ve elzemdir.Bu tezin amacı, 2B+derinlik haritası temelli 3B videoların farklı hızlarda kodlanmış2B videolarının İGS ile bağlantılı hareket, yapısal karmaşıklık ve kontrast bilgiler inikullanarak Referanssız bir 3B nesnel VKD metriği geliştirmektir. Önerilen 3B nesnelVKD metriği farklı bit oranlarında kodlanan videolardan elde edilen öznel veliteratürde çok kullanılan 2B TR nesnel VKD sonuçlarıyla karşılaştırılmış ve oldukçayüksek performans elde edilmiştir. Sonuç olarak, geliştirilen 3B nesnel VKDmetriğinin orijinal videoya ya da özniteliklerine gereksinim duymadan 3B VKD' sinibaşarıyla gerçekleştirdiği sonucuna varılmıştır.

Advancement in 3 Dimensional (3D) video technologies (coding, transmission,storage etc) enable a necessity for Video Quality Assessment (VQA) due to feedbackit can provide to them. This necessity has received attention from researchers and hasbecome a prominent area of research. Thus, a new era has started for developing both2 Dimensional (2D) and 3D metrics. Currently, objective VQA metrics widely utilizedby researchers for 2D videos exist in literature. However, a widely exploited 3D VQAmetric correlating with Human Visual System (HVS) has not been developed by nowsince 3D video has depth, nature, and depth sensitivity properties absent in 2D videowhich can be assessed is a pretty sophisticated manner. For this reason, subjective testsare employed for 3D VQA even though they have time and cost disadvantages.Onjective metrics in literature are classified in to three categories: Full Reference (FR),Reduced Reference (RR) and No-reference (NR) metrics. The original video isrequired for VQA considering the FR metrics. While features obtained from theoriginal video are required for RR metrics to evaluate the quality, NR metrics do notrequire original video or its features for evaluating the video quality. Therefore,besides its time and speed advantages, NR metrics allow us to use bandwidthefficiently. Consequently, it is of vital importance to develop a reliable NR 3D videoVQA metric.The aim of this thesis is to develop a NR 3D VQA metric considering motion,structural complexity, and contrast information associated with HVS in 2D videosbelonging to 2D+DM based 3D videos and coded with different bit rates. The proposed3D objective VQA metric is compared with subjective and well-known objective FRVQA metric results and it delivers high performance. Consequently, it is concludedthat the developed 3B objective VQA metric performs 3D VQA successfully withoutusing the original video or its attribution.