An open-standards based server-client model for robust streaming of multi-view content over the internet

Abstract

İnternet protokolü (IP) üzerinden ses, video ve IPTV gibi uygulamaların başarısı göz önüne alındığında, 3BTV için iletiminin de IP üzerinden yapılması en makul seçimdir. Ancak bu seçimi yapmış olmak, iletimi gerçekleştirecek olan uygulamanın hazırlanmasını basit bir hale getirmez. Zira IP sadece ağ katmanında paket anahtarlamasına dayalı bir iletimin olmasını zorunlu kılar. Bunun dışındaki pek çok kararın, üstteki katmanlar tarafından alınmasına olanak sağlayan esnek bir yapıya sahiptir. Bu sebepten ötürü, eldeki kanalı en verimli şekilde kullanacak yapıyı oluşturmak uygulamanın sorumluluğundadır. Bu da ancak tüm katmanların özelliklerini göz önünde tutan bir yaklaşım ile mümkündür.Bu tez de çoklu-görüntülü tasfirlere dayalı 3B videonun akıtılması için yeni bir yapı önerilmektedir. Önerilen bu yapı şimdiki standardlara dayalı, esnek ve önceki sistemlerle uyumlu olacak şekilde hazırlanmıştır. Bu sadece şu an kullanımda olan tek görüntülü aktarımlarla birlikte çalışabilmektedir. Çoklu-Görüntülü videonun (ÇGV) kodlaması sırasında basitleştirilmiş Çoklu-Görüntülü-Kodlama (ÇGK) sistemi kullanılmıştır ve basitleştirilme işlemi yüzünden kaybedilen kalite gözardı edilebilecek düzeydedir. Akıtım sırasında Gerçek Zamanlı Akıtım Prokolu (Real-Time Streaming Protocol ) (RTSP), Oturum Betimleme Protokolü (Session Description Protokol) (SDP) ve Gerçek Zamanlı Taşıma Protokolü (Real-Time Transport Protocol) (RTP) kullanılmıştır. Ayrıca kaybedilen paketlerin yeniden oluşturulması için Raptor Kodlarından yararlanılmıştır. Buna ek olarak, geri kalan kayıpların neden olduğu görüntü bozulmalarının etkisini azaltabilmek için hata gizleme teknikleri kullanılmıştır. Sistem önceden ÇGK ile kodlanmış bir görüntünün, kod çözülmesi işlemini gerçek zamanda tamamlayıp, oluşan görüntüyü pek çok farklı ekranda gösterebilmektedir.Bu tez ile aşağıdaki sorulara cevap vermeyi amaçlıyoruz. i) 3B görüntünün aktarılması için ne kadarlık bir bantgenişliğine ihtiyaç duyulur? Bunu etkileyen değişkenler nelerdir? ii) Dilimlemeyi aktif hale getirmenin getirdiği külfetleri, kazançları göz önüne alındığında gözardı edilebilir mi? iii) Ne kadarlık paket kayıp yüzdesi için, ne kadarlık kanal kodlamasına ihtiyaç duyulur? iv) Raptor kodlarının kullanılmasının gerektirdiği yük ile alternatif çözümlerinki kıyaslandığında hangisi daha iyidir. v) 3B görüntünün aktarılması için şu an kullanılan protokollere ne gibi değişiklikler gereklidir? vi) Kod-çözme ve görüntünün gösterilmesi işlemlerinde çok çekirdekli sistemlerden faydalanılabilir mi? vii) Gönderilmek istenen bilginin büyüklüğünden başka paket kayıplarını gözlemlenebilir ölçüde etkileyen bir değişen var mıdır? Eğer varsa bu paketleme seçimlerimizi etkiler mi?

The Internet Protocol (IP) is the natural choice for 3D video transmission, if we considering the recent success of many voice over IP (VoIP), video over IP, and IPTV applications. However, the choice of IP for the network layer does not make the transmission application design straightforward, since IP only dictates the use of unreliable packet switched networks. Its flexible architecture allows use of various transmission protocols and policies over IP. Therefore, it is the task of the application to implement an efficient scheme that will most effectively manage the available channel throughput. This can only be achieved by understanding the characteristics of each layer in the protocol stack and implementing a cross-layer design approach.This thesis proposes a novel framework for streaming of 3D video based on multi-view video (MVV) representations. The proposed streaming platform is completely open standards based, flexible, and backwards compatible for supporting monoscopic streaming to legacy clients. The MVV in the server is compressed using a simplified form of MVC with negligible loss of compression efficiency and streamed using RTSP, SDP and RTP to clients. Raptor Codes are used for fighting with the possible packet loses at the network layer. The clients can perform basic error concealment to reduce the effects of remaining packet losses and can decode MVC in real-time. The modular client can display decoded 3D content on a multitude of 3D display systems.The proposed streaming platform has been extensively tested over the Internet to find answers to the following questions related to 3DTV transmission over IP: i) What is the required bandwidth for 3D transmission, and what are the parameters that affact this ratio? ii) Is the cost of enabling slice mode justified for achieving better channel throughput? iii) What is the required rate of channel coding against what percentage of packet losses? iv) How does Raptor Codes perform when we compare its redundancy level against alternative strategies such as Multiple Description Coding? v) What are the required modifications over the standard streaming protocols for 3DTV transmission? vi) How can the design take advantage of the multi-core processors? vii) Are there any other parameters that have significant influence on packet loss ratio beside bit-rate of the stream? If there is, do they affect the packetization strategy?