Real time FPGA implementation of a training based content adaptive video resolution up-conversion algorithm

Abstract

Bu çalışmada, eğitim tabanlı, içerik uyarlamalı bir video çözünürlük yükseltme algoritması için, iş hattı ve kaynak paylaşımı kullanan yüksek performanslı bir donanım mimarisi önerilmiş ve önerilen yapı, 480x720 standart çözünürlükteki videonun 720x1280 yüksek çözünürlükte videoya dönüştürülmesi uygulaması için düşük maliyetli bir sahada programlanabilir kapı dizisi (SPKD (FPGA)) kullanarak gerçeklenmiştir. Donanım yapısı önerilen ve gerçeklenen, modifiye edilmiş çözünürlük sentezi algoritması (MÇS (MRS)), alt örnekleme işlemi sürecinde video sinyalinde kaybolan yüksek frekans bileşenlerinin, geniş bir video görüntü kümesi üzerinde gerçekleştirilen eğitim sürecinde elde edilen bilgi ile geri kazanılmasını hedefler. MÇS algoritması çıkış görüntüsünü oluşturan her piksel için 137 çarpma ve 120 toplama işlemi içerir. 480x720 standart çözünürlükte videonun 720x1280 yüksek çözünürlükte videoya dönüştürülmesi problemi, 27 Mhz giriş saat çevriminde üretilen piksel datası ile gerçek zaman kısıtları içerir. Hedeflenen FPGA için, tasarım, giriş piksel saat frekansının dört katı olan 108 Mhz saat frekansında çalışacak biçimde iş hattı yapısı kurulmuştur. Bu sayede çarpma ve toplama işlemleri için kaynak paylaşımı yapılmış ve, iş hattındaki saklayıcılarda ve kontrol lojiğinde küçük bir artış ile çarpıcı ve toplayıcı sayısı dörtte birine indirilmiştir. Önerilen yapının, saklayıcı transfer seviyesindeki tanımı, VHDL dili ile yazılmış, sabit noktalı C modeli ile VHDL modeli çıktıları karşılaştırılarak donanım yapısı doğrulanmıştır. Doğrulanan tasarım, Xilinx XC3S2000 FPGA kullanılarak gerçeklenmiş ve standart çözünürlükteki videonun yüksek çözünürlükte videoya dönüştürülmesi uygulaması için likit kristal ekranlı TV üzerinde test edilmiştir. Tasarım, FPGA içerisinde 3533 dilim ve yaklaşık 60 KB blok RAM yapısı kullanmaktadır. Tasarımın lojik kapı cinsinden karmaşıklığının, literatürdeki lineer video boyutlandırma algoritmaları ile yaklaşık aynı ölçekte olduğu görülmüştür.

In this study, a high performance, pipelined, resource shared hardware architecture was proposed for a training based content adaptive video resolution up-conversion algorithm, and the proposed architecture was implemented in a field programmable gate array (FPGA), for a video standards conversion application where the input is standard definition (SD) video with 480x720 resolution, and the output is high definition (HD) video with 720x1280 resolution. Modified resolution synthesis (MRS), which was implemented in this study is a method, that aims to recover the missing spectrum at the down sampled image, by using information obtained by training with large set of images. MRS requires 137 multiplications and 120 additions per output pixel. For 480x720 to 720x1280 video conversion, the design is constrained by the input pixel rate which is 27 Mhz. For the targeted FPGA, the design was pipelined to work at 108 Mhz, four times the input pixel clock rate. Number of multipliers and adders were reduced by a factor of 4, with minor increase in the pipeline stages and the control logic complexity. Register transfer level (RTL) description of the proposed architecture was written in VHDL and RTL model was verified with fixed point C model outputs. The verified design was mapped to Xilinx XC3S2000 FPGA, and was tested on TV for SD to HD video conversion. The design uses 3533 slices, and 60KByte of block RAMS available in the FPGA. The logic gate count of the design is in the order of gate counts for bicubic scalers proposed previously.