Low energy video processing and compression hardware designs

Abstract

Sayısal video işleme ve sıkıştırma algoritmaları mobil cihazlar, insansız hava araçları ve otonom araçlar gibi birçok ticari üründe kullanılmaktadır. Bu ticari ürünlerde kullanılan video çözünürlüklerinin artması sayısal video işleme ve sıkıştırma algoritmalarının hesaplama karmaşıklığını arttırmaktadır. Bu yüzden, sayısal video işleme ve sıkıştırma algoritmalarının hesaplama karmaşıklığını ve sayısal video işleme ve sıkıştırma donanımlarının enerji tüketimlerini görsel kaliteyi düşürmeden azaltmak gerekmektedir.Bu tezde, 2B orta değer filtresi, Gauss bulanıklığı ve görüntü keskinleştirme algoritmaları için yeniden uyarlanabilir 2B sayısal görüntü işleme algoritması önerilmektedir. Önerilen algoritmayı kullanarak düşük enerjili 2B orta değer filtresi, Gauss bulanıklığı ve görüntü keskinleştirme donanımları tasarlandı. Yaklaşık HEVC çerçeve içi öngörü ve yaklaşık HEVC kesirli aradeğerleme algoritmaları önerilmektedir. Düşük enerjili yaklaşık HEVC çerçeve içi öngörü ve yaklaşık HEVC kesirli aradeğerleme donanımları tasarlandı. Ayrıca, HEVC kesirli aradeğerleme algoritması için farklı donanım mimarileri önerilmektedir. HEVC DCT ve ters DCT/DST için birkaç farklı hesaplama karmaşıklığı ve enerji azaltma teknikleri önerilmektedir. Önerilen teknikleri kullanarak, yüksek performanslı ve düşük enerjili HEVC DCT ve ters DCT/DST donanımları tasarlandı.Önerilen algoritma ve tekniklerin neden olduğu hesaplama azaltmaları ve video kalitesi kayıpları ölçüldü. Önerilen donanım mimarileri Verilog donanım tasarlama dili ile gerçeklendi. Verilog RTL kodları Xilinx Virtex 6 ve Xilinx ZYNQ FPGA'lerine sentezlendi ve bunların güç tüketimleri Xilinx XPower Analyzer aracı ile tahmin edildi. Önerilen algoritmalar ve teknikler, bu FPGA gerçeklemelerinin güç ve enerji tüketimlerini, bazı durumlarda PSNR kaybı olmaksızın, bazı durumlarda ise çok küçük PSNR kaybı ile önemli ölçüde azalttı.

Digital video processing and compression algorithms are used in many commercial products such as mobile devices, unmanned aerial vehicles, and autonomous cars. Increasing resolution of videos used in these commercial products increased computational complexities of digital video processing and compression algorithms. Therefore, it is necessary to reduce computational complexities of digital video processing and compression algorithms, and energy consumptions of digital video processing and compression hardware without reducing visual quality.In this thesis, we propose a novel adaptive 2D digital image processing algorithm for 2D median filter, Gaussian blur and image sharpening. We designed low energy 2D median filter, Gaussian blur and image sharpening hardware using the proposed algorithm. We propose approximate HEVC intra prediction and HEVC fractional interpolation algorithms. We designed low energy approximate HEVC intra prediction and HEVC fractional interpolation hardware. We also propose several HEVC fractional interpolation hardware architectures. We propose novel computational complexity and energy reduction techniques for HEVC DCT and inverse DCT/DST. We designed high performance and low energy hardware for HEVC DCT and inverse DCT/DST including the proposed techniques.We quantified computation reductions achieved and video quality loss caused by the proposed algorithms and techniques. We implemented the proposed hardware architectures in Verilog HDL. We mapped the Verilog RTL codes to Xilinx Virtex 6 and Xilinx ZYNQ FPGAs, and estimated their power consumptions using Xilinx XPower Analyzer tool. The proposed algorithms and techniques significantly reduced the power and energy consumptions of these FPGA implementations in some cases with no PSNR loss and in some cases with very small PSNR loss.