Client-driven streaming of multi-view videos for interactive 3dtv

Abstract

Seyircinin konumuna güre seşilmis birkaş bakışı yollayarak kullanıcıların 3-B materyal-o c c sleri etkileşimli ve düşuk bant genişliği ile izlemesini sağlayacak yeni bir 3-B cok bakışlıs usü sg g ş süvideo iletimi yüntemi sunuyoruz. Onerilen yüntem, hem noktadan noktaya tek alıcıyao ogünderim işin hem de cok kullanıcıya coğagünderim ile calışabilir. Dahası sistemimizo c ş şg o şshem daha yoğun ışık alanı tü rü nde cok bakışlı videolarin hem de derinlik bilgisi ileg s uu ş sdaha seyrek cok bakışlı videolarin iletiminde kullanılabilir.ş süOnerilen yüntemde gerekli bakışlari seşmek icin kullanıcının kafa konumu sü reklio s c uolarak takip edilir. Kullanıcının güreceği gürü ntü yü yü ksek kalitede gerişatabilmeko g ou u u u cişin sistem seşilen bakışlara daha fazla bant genişliği ayırır. Ağdaki gecikmelerininc c s sg gve akış değişimlerinin istenmeyen etkilerini azaltmak işin kullanıcının bakışı üncedens gs c sotahmin edilir ve ihtiyaş duyulan akışlar ünceden istenir. Buna ek olarak, tahmin hata-c solarından kaynaklanabilecek duraksamaları engellemek işin yü ksek derecede sıkıstırılmışc u skomşu bakışlar da ihtiyaş duyulan bakışlara ek olarak yollanır. Yollanacak komşus s c s sbakış sayısını belirlemek icin kafa hareketlerinin aniliğini dikkate alan yeni bir metriks gü ückullanılmıştır. Onerilen sistem, Cok Bakışlı Video Sıkıştırma (MVC) ve Olşeklendirilebilirs ş s sVideo Sıkıştırma (SVC) ï¬kirlerinden faydalanarak hem daha verimli sıkıştırma hems sde daha esnek bakış seşimi sağlamayı amaşlar.sc g cCok bakışlı videolar ünerilen yüntemle cok sayıda kullanıcıya günderileceği zaman,ş s o o ş o guygulama katmanı coğagonderim kullanılır. NICE olarak adlandırılan bir uygulamaşgkatmanı coğagonderim protokolu, ünerilen sisteme uyarlanmıştır.şg o s1

We present a novel 3-D multi-view video delivery scheme that allows users watch3-D content interactively with signiï¬cantly reduced bandwidth requirements by trans-mission of small number of views selected according to viewer?s head position. Theproposed scheme can be used for point-to-point delivery to a single user and/or multi-cast delivery to many users. Furthermore, the scheme can transport dense light-ï¬eld-like multi-view sequences or multi-view sequences together with depth information.In the proposed scheme, the user?s head motion is tracked to select the requiredviews dynamically. The system then allocates more bandwidth to these required viewsto render the user?s current viewing angle. In order to reduce the adverse eï¬ectsof delays due to network and stream switching, required view points are predictedand pre-fetched. Highly compressed lower quality views are also sent alongside theselected high quality views to provide protection against stoppage due to erroneousviewpoint predictions. A novel metric based on the abruptness of the head movementsand delays in the system is introduced to help in determining the number of theadditional lower quality views to be transmitted. The proposed system makes useof Multi-View Coding (MVC) and Scalable Video Coding (SVC) concepts togetherto obtain improved compression eï¬ciency while providing ï¬exibility in bandwidthallocation to the selected views. Rate-distortion performance of the proposed systemis reported under diï¬erent conditions. Use of the introduced metric in determiningthe optimal operating point, i.e., the number of lower quality views that need to betransported, is demonstrated.Overlay multicast is employed to reduce the bandwidth requirements when theproposed scheme is used for transporting 3-D content to several users. An application-layer multicast protocol, called NICE, was modiï¬ed for this purpose. NICE is chosendue to its lower control overhead and short join-latency when compared to other1application-layer multicast protocols; reducing the network delay for the proposedselective multi-view video delivery system.2