Error resilient stereoscopic video streaming using model-based fountain codes

Abstract

Hataya dayanıklı sayısal video akıtımı, paket anahtarlamalı ağların ortaya çıkmasından ve yayılmasından bu yana ilgi çekici ve zor bir problem olmuştur. Video kodlama alanındaki en yeni gelişmelerden biri ilinliti çoklu imge dizilerinde sıkıştırma için metodlar öneren çok-görüşlü kodlayıcı-çözücülerde görülmektedir. Mevcut çok-görüşlü sıkıştırma teknikleri yitimlere olan duyarlılığı arttırmakta ve yitim kurtarma yöntemlerinin kullanımını gerektirmektedir. Gönderme Yönünde Hata Düzeltimi (GYHD) yitik verilerin kurtarılması için verimli, kuvvetli ve uygulanabilir bir araçtır. Fountain kodları GYHD kodlarının yeni bir sınıfıdır ve LT ve Raptor kodları bu sınıfın uygulanabilir örnekleridir. Bu kodlar H.264/AVC gibi en yeni video kodlayıcı-çözücüler ile uyumlu çalışabilmektedir. Tek görüşlü video ile ilgili bir çok çalışma olmasına rağmen, çok-görüşlü videonun yitimli kanallarda GYHD ile iletimi yeteri kadar incelenmemiştir. Bu eksikliği hedef alarak, verimli ve hataya dayanıklı bir stereo video akıtım sistemi oluşturmak için H.264 temelli çok-görüşlü bir video kodlayıcı-çözücü ve model temelli bir Fountain kodu bir arada kullanılmıştır. GYHD ile birlikte eşit olmayan hata koruması (EOHK) kullanmanın faydalarından yararlanmak için stereo videonun farklı önemlere sahip üç katmanı tanımlanmıştır. Temel olarak, bu üç katman sol görüşün çerçeve içi kodlanmış çerceveleri, sol görüşün öngörülmüş çerçeveleri ve sağ görüşün öngörülmüş çerçevelerinden oluşur. Tek görüşlü videonun Hız-Bozulum (HB) karakteristiği genişletilerek bağımlı katmanların HB karakteristiği tanımlanmıştır. Videonun HB örneklerini kullanarak eğri oturtma tekniği ile model parametreleri elde edilmiştir, ve HB örnekleri ile analitik model arasındaki ortalama farkın %1.00 ve %9.19 arasında olduğu tatminkar sonuçlar elde edilmiştir. Kanal bit hızı, kayıp oranı ve koruma oranı verildiğinde kalan kayıp paket sayısını elde etmek için Raptor kodlarının buluşsal bir analitik modeli kullanılmıştır. Bu kalan sayı, tek bir Ağ Soyutlama Katmanı (ASK) biriminin yitiminden kaynaklanan kestirilmiş ortalama bozulum ile çarpılarak toplam iletim bozulumu elde edilmiştir. Bütün bu modeller, uçtan-uca bozulumu enküçültmek ve en iyi kodlayıcı bit hızlarını ve EOHK oranlarını elde etmek için birleştirilmiştir. Önerilen sistem kullanıldığında, eşit hata koruması ve sadece sol görüş koruması yöntemleri ile karşılaştırıldığında, benzetim sonuçları 2dB'ye varan kalite artışı göstermiştir. Bundan başka, Fountain kodları sonlu uzunluk bölgesinde analiz edilmiş ve varsayımlar ya da asimtotik yaklaşıklamalar olmadan döngülü başarım modelleri türetilmiştir. İnanç-Yayılım (İY) kodçözücüsünün başarım modeli LT kodunun parametrelerine bağlı olarak ya tek bir benzetim sonucunu ya da bu sonuçların ortalamasını yaklaşıklamıştır. En büyük olabilirlik kodçözücüsünün başarım modeli, İY kodçözücüsünün modeli ile kıyaslandığında, benzetim sonuçlarının ortalamasını daha iyi yaklaşıklamıştır. Raptor kodları, benzetim sonuçlarında görülen üstel azalmaya dayanarak, buluşsal olarak modellenmiş ve model parametreleri en iyi oturan doğru ile elde edilmiştir. Sistematik ve sistematik olmayan Raptor kodlarının anatilik modelleri deneysel ortalama başarımı doğru bir şekilde yaklaşıklamıştır.

Error resilient digital video streaming has been a challenging problem since the introduction and deployment of early packet switched networks. One of the most recent advances in video coding is observed on multi-view video coding which suggests methods for the compression of correlated multiple image sequences. The existing multi-view compression techniques increase the loss sensitivity and necessitate the use of efficient loss recovery schemes. Forward Error Correction (FEC) is an efficient, powerful and practical tool for the recovery of lost data. A novel class of FEC codes is Fountain codes which are suitable to be used with recent video codecs, such as H.264/AVC, and LT and Raptor codes are practical examples of this class. Although there are many studies on monoscopic video, transmission of multi-view video through lossy channels with FEC have not been explored yet. Aiming at this deficiency, an H.264-based multi-view video codec and a model-based Fountain code are combined to generate an efficient error resilient stereoscopic streaming system. Three layers of stereoscopic video with unequal importance are defined in order to exploit the benefits of Unequal Error Protection (UEP) with FEC. Simply, these layers correspond to intra frames of left view, predicted frames of left view and predicted frames of right view. The Rate-Distortion (RD) characteristics of these dependent layers are defined by extending the RD characteristics of monoscopic video. The parameters of the models are obtained with curve fitting using the RD samples of the video, and satisfactory results are achieved where the average difference between the analytical models and RD samples is between 1.00% and 9.19%. An heuristic analytical model of the performance of Raptor codes is used to obtain the residual number of lost packets for given channel bit rate, loss rate, and protection rate. This residual number is multiplied with the estimated average distortion of the loss of a single Network Abstraction Layer (NAL) unit to obtain the total transmission distortion. All these models are combined to minimize the end-to-end distortion and obtain optimal encoder bit rates and UEP rates. When the proposed system is used, the simulation results demonstrate up to 2dB increase in quality compared to equal error protection and only left view error protection. Furthermore, Fountain codes are analyzed in the finite length region, and iterative performance models are derived without any assumptions or asymptotical approximations. The performance model of the belief-propagation (BP) decoder approximates either the behavior of a single simulation results or their average depending on the parameters of the LT code. The performance model of the maximum likelihood decoder approximates the average of simulation results more accurately compared to the model of the BP decoder. Raptor codes are modeled heuristically based on the exponential decay observed on the simulation results, and the model parameters are obtained by line of best fit. The analytical models of systematic and non-systematic Raptor codes accurately approximate the experimental average performance.