Optimization of asymmetric stereo video coding and streaming

Abstract

İnsan görme sisteminin bir görüntüdeki yüksek frekans eksikliğini diğer görüntüde bu bilgi mevcut olduğu sürece fark etmemesi bugün bilindik bir gerçektir. Öyleyse en iyi 3B görüntü sıkıştırma tekniğinin referans (sol) ve yardımcı görüntünün (sağ) asimetrik kodlanmasıyla elde edilmesi beklenir. Fakat bu iki görüntü arasındaki asimetri derecesinin ne kadar olması gerektiği ve bu asimetriyi sağlarken kullanılması gereken sıkıştırma yönteminin kalite (QP) yada boyut ölçeklenmesi mi olması gerektiği henüz yanıtlanmamış sorulardır. Görsel testlerimizin sonuçları gösteriyor ki, referans görüntü yüksek kalitede gösterildiği sürece (~38 dB) yardımcı görüntü 31 dB kalite seviyesinde kodlanabilir ve böylelikle kullanılan 3B görüntüleme teknolojisine de bağlı olarak görüntü algılamada bozukluk yaşanmaz. Bu kalite derecesi paralaks bariyerli görüntüleyicide yaklaşık 33 dB, polarize projektör görüntüleyicide ise yaklaşık 31 dB'dir. Bu derecenin ötesine gidildiğinde, simetrik kodlamanın, simetrik kodlamanın asimetrik kodlamaya kıyasla daha iyi görsel kalite sunduğu görülmüştür. Dahası izleyicilerin bu derece yukarısında kalite(QP) sıkıştırma yöntemini boyut sıkıştırma yöntemine tercih ettikleri gözlemlenmiştir.Birden çok MGS NAL ünitesi ölçeklenebilir betimlemelerin özütleme noktalarının eriminin arttırılmasını sağlar ancak bu sayının artması kodlama performansının azalmasına sebep olur. Yaptığımız hız-bozunum testleriyle 1 ve 2 adet MGS NAL ünitesine sahip görüntü katarlarını karşılaştırdık. Bunu yaparken de görüntü katarlarının boyutlarının ayarlanmasında kendi yazdığımız katar özütleyici programını kullandık.Bunlara ek olarak, değişik betimleme oluşturma yöntemlerinin performanslarını inceledik. Betimlemelerin oluşturulmasında kendimizin yazdığı betimleme oluşturma programını kullandık. Dahası yine kendimize ait kanal simülatör programı ile oluşturduğumuz betimlemeleri değişken ağ koşullarında (değişken paket kayıp ihtimallerinde) test edip hız-bozunum performanslarını inceledik.

It is well known that the human visual system can perceive high frequencies in 3D, even if that information is present in only one of the views. Then, the best 3D stereo quality may be achieved by asymmetric rate allocation to the reference (left) and auxiliary (ri1ght) views. However, the question of what should be the level of asymmetry between reference and auxiliary views without disturbing the perceived quality and whether the rate reduction for the auxiliary view should be achieved by spatial resolution reduction (coding a downsampled version of the video followed by upsampling after decoding) or quality (QP) reduction is an open issue. Subjective tests indicate that when the reference view is fixed at sufficiently high quality (i.e. 38 dB), the auxiliary view can be encoded around 31 dB without losing much on the perceived stereo video quality depending on the type of utilized 3D display technology. The threshold is ~31 dB for a parallax barrier display and ~33 dB for a polarized projection display. Beyond this threshold, symmetric coding starts to perform better than asymmetric coding in terms of perceived stereoscopic video quality. In addition to those, the result of subjective tests shows that users prefer SNR scalability over spatial scalability on both parallax barrier and polarized projection displays above the threshold..Although it is more desirable to have more than 1 MGS NAL unit(NALU) since number of extraction points increase as the number of MGS NAL units increases, as number of NALUs increases, the coding efficiency decreases. We have tested the R-D performance of streams including only 1 NALU with streams including 2 NALUs. We used our own Bitstream Extractor program to extract the streams at various bitrates and compare their R-D performances.Additionally we present the performance of different multi description generation algorithms. The streams of each descriptions are generated by MD generator program that is coded by us. Moreover we coded a channel simulator program to investigate the R-D performance of these descriptions under different network conditions (channel loss probabilities).