Low power motion estimation based frame rate up-conversion hardware designs

Abstract

Video ve ekran teknolojilerindeki ilerlemeler sayesinde, yakın zamanda 100 Hz, 120 Hz ve 240 Hz görüntü hızlarına sahip düz ekran Yüksek Çözünürlüklü Televizyon (YÇT) ekranları piyasaya çıkarıldı. Fakat video görüntüleri 24 Hz'den 60 Hz'e değiĢen farklı zamansal çözünürlüklerde kaydedilmekte ve yayınlanmaktadır. Bu farklı video çözünürlüklerini yüksek görüntü hızlı ekranlarda doğru bir Ģekilde görüntülemek için, yeni çerçeveler oluĢturulmalı ve görüntü hızını artırabilmek için video dizinine eklenmelidir. Bu nedenle Çerçeve Hızı Artırımı (ÇHA) bir ihtiyaç olmuĢtur. Hareket Tahminine (HT) dayalı ÇHA algoritmaları, HT dayalı olmayan ÇHA algoritmalarına oranla daha yüksek kaliteli sonuçlar vermektedir. HT dayalı ÇHA algoritmaları iki temel adımdan oluĢur, Hareket Tahmini ve Hareket Dengeleme ile Aradeğerleme (HDA). HT'de ardıĢık çerçeveler arasındaki Hareket Vektörleri (HV) hesaplanır. HDA adımında bu HV bilgisi kullanılarak yeni çerçeve oluĢturulur ve orijinal çerçeveler arasına yerleĢtirilir. Bu iki temel adıma ek olarak oluĢturulan çerçevenin kalitesini artıracak ara adımlar da uygulanabilir. Bu ara adımlar genellikle HV alanını iyileĢtirme, HV Düzleme ve Çift Yönlü HT ĠyileĢtirmesi gibi çeĢitli algoritmaları içerir. Bu tezde, blok eĢleĢtirme HT donanımı için hatasız mutlak değer tahmin tekniği önerildi. Önerilen teknik bir Tam Arama HT Donanımı'nın XC2VP30-7 FPGA'sında güç tüketimini PSNR kaybı olmaksızın % 2.2 azalttı. Buna ek olarak bir Global Hareket Tahmini (GHT) algoritması ve donanımı önerildi. GHT algoritması 3 Boyutlu Özyineli Arama (3BÖA) algoritmasının PSNR değerini %2.5 artırırken önerilen donanım saniyede 341 720p çerçeve iĢleyebilmektedir. Ayrıca GHT için uyarlanır bir teknik önerildi ve bu teknik %0.17 PSNR kaybıyla donanımın XC6VLX75T FPGA'sında enerji tüketimini %14.37 azalttı. Ayrıca Uyarlanır Çift Yönlü Hareket Tahmini (UÇYHT) Donanımı için bir erken sonlandırma tekniği önerildi. Önerilen teknik donanımın XC6VLX75T FPGA'sında enerji tüketimini %0.04 lük bir PSNR kaybıyla % 29 azalttı. Ayrıca Ağırlıklı Katsayılı ÇakıĢmıĢ Blok Hareket Dengeleme (AK-ÇBHD) algoritması için verimli bir donanım önerildi. Önerilen verimli donanım referans donanımının XC6VLX75T FPGA'sında güç tüketimini %22 azalttı ve saniyede 57 720p çerçeve iĢleyebilmektedir. Son olarak, UÇYHT donanımı Xilinx ML605 FPGA kartında çalıştırıldı.

Recently flat panel high definition television (HDTV) displays with 100 Hz, 120 Hz and 240 Hz picture rates are introduced. However, video materials are captured and broadcast in different temporal resolutions ranging from 24 Hz to 60 Hz. In order to display these video formats correctly on high picture rate displays, new frames should be generated and inserted into the original video sequence to increase its frame rate. Therefore, frame rate up-conversion (FRUC) has become a necessity. Motion compensated FRUC (MC-FRUC) algorithms provide better quality results than non-motion compensated FRUC algorithms. These MC-FRUC algorithms consist of two main stages, motion estimation (ME) and motion compensated interpolation (MCI). In ME, motion vectors (MV) are calculated between successive frames, and in MCI this MV data is used to generate a new frame that is inserted between two successive frames, thus doubling the frame rate. In addition to these two main steps, intermediate steps such as refinement of the MV field by various algorithms like motion vector smoothing and bilateral ME refinement may be used to improve the quality of the interpolated video. In this thesis, a perfect absolute difference technique for block matching ME hardware is proposed. The proposed technique reduces the power consumption of a full search ME hardware by 2.2% on a XC2VP30-7 FPGA without any PSNR loss. In addition, a global motion estimation (GME) algorithm and its hardware implementation are proposed. The proposed GME algorithm increases PSNR of 3D recursive search ME algorithm by 2.5% and its hardware implementation is capable of processing 341 720p frames per second. An adaptive technique for GME, which reduces the energy consumption of the GME hardware by 14.37% on a XC6VLX75T FPGA with a 0.17% PSNR loss, is also proposed. Furthermore, an early termination technique for the adaptive bilateral motion estimation (ABIME) algorithm is proposed. The proposed technique reduces the energy consumption of the ABIME hardware by 29% with a 0.04% PSNR loss on a XC6VLX75T FPGA. In addition, an efficient weighted coefficient overlapped block motion compensation (WC-OBMC) hardware which reduces the dynamic power consumption of the reference WC-OBMC hardware by 22% is proposed. The proposed hardware is capable of processing 57 720p frames per second on a XC6VLX75T FPGA. Finally, the ABIME hardware is implemented on a Xilinx ML605 FPGA board.