Adaptive scalable video coding

Abstract

Yüksek Lisans Tez Özet FormuÖğrencinin Adı :Emrah AkyolAna Bilim Dalı :Elektronik-Bilgisayar MühendisliğiTez Başlığı :Uyarlanır Ölçeklenebilir Video KodlamaÖzetBu tez `Uyarlanır Ölçeklenebilir Video Kodlama' genel konusu altında üç ana başlıkta hazırlanmıştır.Birinci çalışmada etkili zamansal ölçeklenebilirlik sağlanması amacıyla H.264 standardı içerisindedevinim dengeli zamansal filtreleme(DDZF) öneriyoruz. DDZF geleneksel olarak dalgacıkdönüşümüyle yapılan tam ölçeklenebilir video kodlamasında kullanılır. Ancak devinim dengeli 5-3dalgacıkları kaldırma işlemi yapılarak filtreleme görüntü değişimi olan yerlerde ve videoçerçevelerinde yeni çıkan bölgelerin kodlanmasında başarısız olmaktadır. H.264 standardı iki yönlüdevinim dengeleme için uyarlanabilir blok büyüklüğü, ileri-geri ve iki yönlü modlar arasındauyarlanabilir mod seçimi,bloksuzlaştırma filtresi ve örtüşmeli devinim dengeleme gibi gelişmiştekniklere sahiptir. Bu nedenle devinim dengeli 5-3 dalgacık filtresine benzer şekilde H.264 standardıiçerisinde blok tabanlı uyarlanabilir DDZF uygulamak için bir görüntü grubu yapısı öneriyoruz. DiğerDDZF tabanlı dalgacık dönüşümü video kodlayıcıların sonuçlarıyla birlikte karşılaştırmak üzeresonuçlarımızı sunuyoruz. Önerdiğimiz DDZF yapısı `Sıralamalı B-Resimleri' ya da ` ZamansalPiramit' ismiyle H.264/AVC referans yazılımına da dahil edilmiştir.İkinci çalışmada ölçeklenebilir video kodlamada içeriğe bağlı en iyi ölçekleme operatörü seçimiüzerinde çalışılmıştır. Ölçeklenebilir video kodlayıcıları, her biri içeriğe ve bit-hızına bağlı olarakdeğişik tipte ve miktarda bozuluma neden olan zamansal, uzaysal ve kalitesel olmak üzere üç çeşitölçeklenebilirlik olanağı sağlamaktadır. Genelde bir tek ölçekleme operatörü videonun bütünkısımları için uygun olmamaktadır; bu nedenle videonun değişik içerikteki her bir parçası içinölçekleme operatörü o parçanın içeriğine bağlı olacak şekilde değiştirilmelidir. Bu çalışmada, videobir içerik inceleme metoduyla içeriğine bağlı olarak değişik kısımlara ayrılmış kabul edilmiş ve her birzamansal video parçası en düşük bozunuma sonuç veren en-iyi ölçekleme operatörüyle ölçeklenmiştir.Bit-hızı azalımı, uzaysal genişlik değişimi ve zamansal ölçeklemenin yarattığı bozulum, düzlük,blokluluk, zamansal atlama ve bozunukluluk metrikleriyle ölçülmüştür. En-iyi ölçekleme operatörüayrı bozulum metriklerinin lineer kombinasyonuyla oluşturulan genel bozulum metriğine göre endüşük bozulumu veren operatör olarak bulunmuştur. Bu lineer kombinasyonun katsayıları içeriğe göreayarlanarak bulunmuştur. Önerilen bozulum metriği ve en-iyi operatör bulma prosedürü futbolvideolarıyla iki öznel test yapılarak gerçeklenmiştir.Üçüncü kısımda ise içeriğe ve kanal koşullarına uyarlanır çok-tanımlamalı video kodlama yöntemi ileuyarlanır video iletimi üzerinde çalışılmıştır. İletişim kanallardaki sıkışmanın neden olduğu paketkayıpları ve gecikme değişimleri, gecikmeye duyarlı multimedya akışı işlemlerini zorlaştırmaktadır.Çok tanımlı video kodlama yöntemleri ile paket kayıplarının yarattığı bu etki azaltılabilmektedir.Ancak bu zamana kadar geliştirilen çok tanımlı video kodlama teknikleri, kanal koşullarına uyumsağlayamamakta, zaman içerisinde tanım sayısının, tanımların içerisine eklenen gereksiz bit miktarininve her tanım için harcanan bit miktarının değiştirilmesine izin vermemektedir. Önerilen çok tanımlıvideo kodlama tekniği bütün bahsedilen değişikliklere olanak sağlamakta ve birçok çok tanımlı videokodlama tekniğinden daha iyi sıkıştırma performansı sergilemektedir. Bu çalışmada önerilensıkıştırma tekniği diğer benzer tekniklerle birçok değişken koşulda karşılaştırılmış, önerilen tekniğindiğer tekniklere hem sağladığı çok yönlü kanala uyarlanabilme özelliği açısından hem de sıkıştırmaperformansı /video görüntü kalitesi (PSNR) açısından üstün olduğu gösterilmiştir.Danışman: Tarih:Enstitü Müdürü: Tarih:

M.S. Thesis Abstract FormName of the Student : EMRAH AKYOLProgram of Study : ELECTRICAL-COMPUTER ENGINEERINGThesis Title :ADAPTIVE SCALABLE VIDEO CODINGAbstractABSTRACTThis thesis is composed of three main parts which include three contributions in slightly differentfields, all lying on the same framework: Adaptive Scalable Video Coding. First part is aboutintegration of motion compensated temporal filtering (MCTF), the basis for temporal scalabilityin scalable video coding methods, to the latest non-scalable video compression standard, i.e.,H.264/AVC. We propose a GOP structure to implement block-based adaptive MCTF within theH.264/AVC syntax using stored B-pictures, similar to the motion-compensated 5/3 waveletfiltering. We provide experimental results to compare the results of our proposed codec withthose of other scalable wavelet video coders which use MCTF. The proposed scheme is alsointegrated into H.264/AVC reference software as `Hierarchical B pictures? or `TemporalPyramid? and it is currently under investigation of MPEG Core Experiments for the upcomingScalable Video Coding standard (SVC).Secondly, we worked on content adaptive scalability type selection problem. State of the artscalable video coders provide different options, such as temporal, spatial and SNR scalability,where bitrate reduction using each scalability type results in different kinds and/or levels of visualdistortion depending on the content and the bitrate. In most cases, a single scalability type doesnot fit the whole video well, and scaling option selection can be optimized for each temporalsegment depending on the content of that segment and the target bitrate. This dependencybetween selection of scalability type, video content, and bitrate is not well investigated in theliterature. In this work, assuming that the video is temporally segmented by some content analysisscheme, we propose a method to choose the best scaling type for each temporal segment thatresults in minimum visual distortion among temporal, spatial and SNR scalability for fullyembedded scalable video coders. We employ an objective distortion measure that consists of alinear combination of four component measures, which are a flatness measure, a blockinessmeasure, a blurriness measure, and a temporal jerkiness measure, to quantify artifacts caused bybitrate reduction by spatial size reduction, frame rate reduction, and quantization parameterscaling. Two subjective tests have been performed to validate the proposed procedure for shot-based selection of optimal scalability type on soccer videos. Soccer videos whose bitrate arereduced from 600 kbps to 100-300 kbps by the proposed content-adaptive selection of scalabilitytype have been deemed visually superior to those whose bitrates are reduced by a singlescalability option for the entire test sequence.Finally, we worked on adaptive peer-to-peer (P2P) streaming using scalable multiple descriptioncoding. Efficient P2P video streaming is a challenging task due to time-varying nature of both thenumber of available peers and network/channel conditions. To this effect, we propose i) a newflexible scalable multiple description coding (MDC) method, where the number of descriptions,and the rate and redundancy level of each description can be adapted on the fly (by post-processing of a fully-embedded scalable coded bitstream), and ii) a new adaptive TCP FriendlyRate Controlled (TFRC) P2P streaming system based on this new MDC scheme. Theoptimization of the design parameters of the proposed MDC scheme according to networkconditions is discussed within the context of the proposed adaptive P2P streaming framework,where the number and quality of available streaming peers/paths are a priori unknown and vary intime. Experimental results, by means of NS-2 network simulation of a P2P video streamingsystem, show that adaptation of the number and rate of descriptions/layers and the redundancylevel of each description according to network conditions yields significantly superiorperformance when compared to other scalable MDC schemes using a fixed number ofdescriptions/layers with fixed rate and redundancy level.