Motion estimation based frame rate conversion hardware designs

Abstract

Çerçeve hızı yükseltme, düşük çerçeve hızına sahip bir videonun daha yüksek çerçeve hızına sahip bir videoya dönüştürülmesidir. Hareket tahmini tabanlı çerçeve hızı yükseltme algoritmaları yüksek kaliteli sonuçlar elde etmektedirler. Arama alanındaki bütün arama noktalarını aradığı icin blok eşleştirmeli hareket tahmini algoritmaları arasında en iyi başarımı gösteren tam arama algoritmasıdır. Ancak, tam arama algoritmasının gerektirdiği işlem miktarı özellikle günümüzde yaygınlaşan yüksek tanımlı video çerçeveleri için çok yüksektir. Bu nedenle, bu tezde yüksek tanımlı video çerçevelerinin gerçek zamanlı işlenebilmesi için hareket tahmini algoritmaları ve bu hareket tahmini algoritmalarını etkin bir şekilde gerçekleştirebilecek donanım mimarileri önerdik. Bu algoritmalar tam arama algoritmasından çok daha az arama noktasını arayarak tam arama algoritmasına çok yakın sonuç elde etmektedirler. Önerilen donanım mimarilerini VHDL ile sahada programlanabilen kapı dizilerinde gerçekledik.Çerçeve hızı yükseltme için yapılan hareket tahmininin ardışık çerçeveler arasındaki gerçek hareketi bulması gereklidir. Ardışık çerçeveler arasındaki gerçek hareketi bulabilmek için blok eşleştirmeli hareket tahmininin elde ettiği hareket vektörü alanı vektör ortanca süzgeci kullanılarak düzeltilir. Ancak, vektör ortanca süzgeçlerinin gerçek zamanda gerçeklenmeleri gerektirdikleri yüksek işlem miktarı nedeniyle zordur. Bu yüzden, bu tezde veri tekrar kullanımı yöntemiyle ve vektör alanındaki benzerliklerin incelenmesiyle vektör ortanca süzgeçlerinin gerektirdikleri işlem miktarını azaltan teknikler önerdik. Ayrıca, vektör alanındaki benzerliklerin incelenmesiyle işlem miktarını azaltan tekniği de gerçekleyen etkin bir vektör ortanca süzgeci donanımı tasarlayıp sahada programlanabilen kapı dizilerinde gerçekledik.Hareket tahmini tabanlı çerçeve hızı yükseltme hareket vektörlerini kullanarak yeni çerçevelerin sentezlenmesini gerektirmektedir. Çerçeve sentezleme algoritmaları da yüksek miktarda işlem gerektirmektedirler. Bu yüzden, bu tezde çerçeve sentezleme algoritmalarının gerçek zamanda gerçeklenmelerini sağlayacak düşük maliyetli uyarlanır bir donanım mimarisi önerdik. Önerilen donanım mimarisi her blok için farklı bir çerçeve sentezleme algoritması kullanabilmektedir. Önerilen donanım mimarisini VDHL ile düşük maliyetli sahada programlanabilen kapı dizilerinde gerçekledik

Frame Rate Up-Conversion (FRC) is the conversion of a lower frame rate video signal to a higher frame rate video signal. FRC algorithms using Motion Estimation (ME) obtain better quality results. Among the block matching ME algorithms, Full Search (FS) achieves the best performance since it searches all search locations in a given search range. However, its computational complexity, especially for the recently available High Definition (HD) video formats, is very high. Therefore, in this thesis, we proposed new ME algorithms for real-time processing of HD video and designed efficient hardware architectures for implementing these ME algorithms. These algorithms perform very close to FS by searching much fewer search locations than FS algorithm. We implemented the proposed hardware architectures in VHDL and mapped them to a Xilinx FPGA.ME for FRC requires finding the true motion among consecutive frames. In order to find the true motion, Vector Median Filter (VMF) is used to smooth the motion vector field obtained by block matching ME. However, VMFs are difficult to implement in real-time due to their high computational complexity. Therefore, in this thesis, we proposed several techniques to reduce the computational complexity of VMFs by using data reuse methodology and by exploiting the spatial correlations in the vector field. In addition, we designed an efficient VMF hardware including the computation reduction techniques exploiting the spatial correlations in the motion vector field. We implemented the proposed hardware architecture in Verilog and mapped it to a Xilinx FPGA.ME based FRC requires interpolation of frames using the motion vectors found by ME. Frame interpolation algorithms also have high computational complexity. Therefore, in this thesis, we proposed a low cost hardware architecture for real-time implementation of frame interpolation algorithms. The proposed hardware architecture is reconfigurable and it allows adaptive selection of frame interpolation algorithms for each Macroblock. We implemented the proposed hardware architecture in VHDL and mapped it to a low cost Xilinx FPGA.