QoE aware multi-view video transmission over P2P networks

Abstract

3 boyutlu (3B) görüntü teknolojilerinin bir sonraki adımı Çoklu-Görüntülü Videodur (ÇGV).Görsel deneyim kalitesine duyarlı ÇGV iletimi günümüzün güncel bir araştırma konularında birtanesidir. ÇGV iletiminde gereken bant genişliği gönderilen görüntü sayısına bağlıdır, bu yüzdendaha önceki video standartlarından farklı olarak, sabit bant genişliğine sahip kanalları kullanmakzordur. Dolayısı ile 3B video iletimini değişken bağlantı kapasitesi sağlayabilen İnternet protokolü(IP) üzerinden yapılması makul bir tercihtir. IP sayesinde kullanıcılar bağlantı hızlarına göre farklısayıda görüntüyü alabilirler. Bu çalışmada IP'nin iki temel problemine değindik: i) ölçeklenebilirlikproblemi, ii) değişken miktarda mevcut bit hızı problemi.Yukarıdaki problemlere çözüm olarak eşten eşe (P2P) ağlar üzerinden ÇGV iletimi uygulanabilir.P2P ağlarını kullanmak, 3B video gönderme görevini eşlere dağıttarak ölçeklenebilir bir iletimsisteminin oluşmasına imkan sağlar. Ayrıca, iletim sisteminin uyarlanabilir olması, içeriğin mevcutkanal özelliklerine göre şekillenmesini mümkün kılarak, değişken kanal kapasitesine uygun akıtımyapılmasına olanak verir. Gene de, başarılı ÇGV iletim hizmeti sağlanabilmesi için algılanandeneyim kalitesinin detaylıca incelenmesi gerekmektedir. Bu çalışmada paket kaybı ve değişkenkanal kapasitesi gibi tipik IP ağ hatalarından etkilenen ÇGKların deneyim kalitesi üzerineodaklandık. İlk amacımız, transfer sırasındaki paket kayıplarından kaynaklanan hataların, ön hatadüzeltme (FEC) algoritmalarıyla ve hata gizleme methotlarıyla etkisini azaltmaktı. Daha iyi birÇGV algısı için FEC paketlerinin görüntüler arasında optimum paylaştırılması incelendir. Görseltest sonuçları bu paketlerin asimetrik paylaştırılmasının daha kaliteli bir algı sağladığını ortayaçıkardı. Sonrasında, 3B görüntünün kanalın değişken veri hızına uyarlanması için farklı adaptasyonmetotları önerdik. Ayrıca bu metotları izleyici tarafından algılanan kalite üzerinden değerlendirdik.Bu amaçla içerik boyutunu ölçeklemekten kaynaklanan görsel bozuklulukları görsel testlerledeğerlendirdik. Bu testler, iyi bir video kalitesi elde etmek için ara görüntülerin mümkün olduğukadar asimetrik olarak ölçeklendirilmesi gerektiğini gösterdi. Eğer yeterli olmaz ise, asimetrikkodlama eşiğine (~32dB) ulaşıldığında, tüm ara görüntülerin iletiminin durdurulmasının ve sadeceilk ve son görüntüye ek olarak pixel derinlik bilgisinin gönderilmesinin en yüksek kaliteyi sağladığısaptandı. Yukarıdaki sonuçlara ek olarak, bu çalışma ÇGV'nun iletimi için Torrent-tabanlı biriletim sistemi önermektedir.

Multi-view Video (MVV) is the next step in 3D evolution and quality of experience (QoE) awareMVV transmission is a hot research topic. In MVV transmission, the required bit rate depends onthe number of views transmitted therefore unlike the previous video standards, it is difficult tooperate over channels with fixed bandwidth capacity; making the Internet Protocol (IP) the naturalchoice for 3D video transmission. IP provides varying channel capacity and allows users to receivecontent at different bit rates according to their 3D displays setup. We addressed two majorproblems of IP: i) scalability problem, ii) varying amount of available bit-rate problem.In this thesis, we have adopted an adaptive MVV streaming mechanism over Peer-to-peer (P2P)networks to address both of these challenges. The P2P approach addresses the scalability problemby distributing the task for delivery 3D media among users; allowing a more scalable solution. Theadaptive streaming approach addresses the unreliable channel problem by adjusting the content tothe available channel properties. However, properly addressing the perceived quality of experience(QoE) of MVV is very crucial in order to achieve a successful adaptive P2P MVV service.Therefore, we have particularly focused on QoE of MVV that is subject to typical IP networkfailures such as packet loss and varying channel capacity. Our first goal is to reduce the effect of theerrors generated due to the packet losses during transmission by utilizing forward error correction(FEC) algorithms and concealment methods. The optimal allocation of FEC packets among viewsis investigated in order to achieve a better MVV perception. The subjective test results indicate thatasymmetric allocation of FEC packets results in better perceived quality. Next, we evaluated theperceived quality of MVV, when various adaptation methods are adopted to match MVV bit-rate toa given rate. For this purpose, we have conducted subjective tests to evaluate the visual distortionscaused by scaling the content rate (adaptation methods). These tests showed that in order to obtainthe best perceived video quality, intermediate views should be scaled asymmetrically as much aspossible. Once asymmetric coding threshold (~32dB) has been reached then it is possible to drop allthe views between the first and the last one and interpolate them using depth image-based rendering(DIBR) technique. Finally, we propose a mesh-based P2P streaming architecture that employs rateadaptation according to the findings to deliver the best QoE under diverse network conditions.