An adaptive true motion estimation algorithm for frame rate up-conversion and its hardware design

Abstract

Video ve ekran teknolojilerindeki ilerlemeler sayesinde, yakın zamanlarda 100 Hz, 120 Hz, ve en yeni olarak da 240 Hz görüntü hızlarına sahip düz ekran Yüksek Çözünürlüklü Televizyon (YÇT) ekranları piyasaya çıkarıldı. Fakat video görüntüleri 24 Hz'den 60 Hz'e değişen farklı zamansal çözünürlüklerde kaydedilmekte ve yayınlanmaktadır. Bu farklı video biçimlerini yüksek görüntü hızlı ekranlarda doğru bir şekilde görüntülemek için, yeni kareler yaratılmalı ve görüntü hızını artırabilmek için video diziminin içine eklenmelidir. Bu yüzden Görüntü Hızı Artırımı (GHA) bir ihtiyaç olmuştur. Hareket Destekli GHA algoritmaları, hareket desteği olmayan GHA algoritmalarına oranla daha yüksek kaliteli sonuçlar vermektedir. Hareket Tahmini (HT), nesnelerin ardışık kareler boyunca hareketlerini tanımlayan hareket vektörlerini bulma işlemidir ve de Hareket Destekli GHA algoritmalarının işlemsel olarak en yoğun kısmını oluşturur. GHA uygulamaları için önemli olan nesnelerin gerçek hareketlerini ifade eden hareket vektörlerinin bulunabilmesidir. Buna Gerçek HT denir. Bu tezde Uyarlanır Gerçek Hareket Tahmini (UGHT) algoritması önerilmektedir. UGHT algoritması kullanıldığında, en uygun hale getirilmiş aday arama konumları kümelerinden ve de birtakım artıklık azaltıcı tekniklerden uyarlanır bir şekilde yararlanılıp, 3-D Recursive Search Gerçek HT algoritmasıyla karşılaştırıldığında daha az işlem yapılarak benzer kalitede sonuçlar veya da benzer sayıda işlem yapılarak daha yüksek kalitede sonuçlar elde edilmektedir. Ek olarak, UGHT için değişik karmaşıklığa sahip 3 farklı donanım mimarisi önerilmektedir. Önerilen donanımlarda UGHT algoritmasının düzenli olmayan veri akışı için verilerin verimli yeniden kullanımı için yöntemler uygulanmaktadır. Bu tasarımlardan 2'si Xilinx Virtex-4 FPGA üzerinde gerçeklenmiş ve de saniyede sırasıyla yaklaşık olarak 158 ve 168 720p YÇ çerçeve işleyebilmektedirler.

With the advancement in video and display technologies, recently flat panel High Definition Television (HDTV) displays with 100 Hz, 120 Hz and most recently 240 Hz picture rates are introduced. However, video materials are captured and broadcast in different temporal resolutions ranging from 24 Hz to 60 Hz. In order to display these video formats correctly on high picture rate displays, new frames should be generated and inserted into the original video sequence to increase its frame rate. Therefore, Frame Rate Up-Conversion (FRUC) has become a necessity. Motion Compensated FRUC algorithms provide better quality results than non-motion compensated FRUC algorithms. Motion Estimation (ME) is the process of finding motion vectors which describe the motion of the objects between adjacent frames and is the most computationally intensive part of motion compensated FRUC algorithms. For FRUC applications, it is important to find the motion vectors that represent real motions of the objects which is called true ME. In this thesis, an Adaptive True Motion Estimation (ATME) algorithm is proposed. ATME algorithm produces similar quality results with less number of calculations or better quality results with similar number of calculations compared to 3-D Recursive Search true ME algorithm by adaptively using optimized sets of candidate search locations and several redundancy removal techniques. In addition, 3 different complexity hardware architectures for ATME are proposed. The proposed hardware use efficient data re-use schemes for the non-regular data flow of ATME algorithm. 2 of these hardware architectures are implemented on Xilinx Virtex-4 FPGA and are capable of processing ~158 and ~168 720p HD frames per second respectively.