Efficient realtime image scaling and warping in hardware

Abstract

Birçok görüntü/video işleme uygulamasında boyut küçültme ve bükme bulunur. Bu tez, alan etkili bir boyut küçültücü donanım mimarisi ve donanıma bükme algoritması uygulaması sunacak. Sunulan algoritmanın adı `ODD (Output Domain Dowscaler)` dır. Hem bükme hem de ODD çift doğrusal ara değerleme yöntemi uygulamasına dayanarak gösterilmiştir. Aynı ara değerleme metodunun farklı şekillerde gerçeklenmesi boyut küçültme ve bükme üniteleri arasındaki farkı oluşturur. Warping ve downscaler ünitelerinin hafızadan okuma ve yazma mantıkları benzer ve genel bir FIFO ile sağlanımştır. Bükme ünitesi gerçeklenirken FIFO boyutu hesaplayıcı ve planlama oluşturucu araçlar kullanılmıştır. ODD, aynı zamanda ayrıt sezimi ve keskinleştirilmiş uzamsal süzgeç ile birleştirilmiştir. Bu tez, ODD ı aynı birleşme yöntemlerinin direk uygulayan ve adına `Input Domain Downscaler` dediğim, yöntem ile karşılaştıracak. İnput domain downscaler, orijinal video karesinin yeni bir pikseli her alındığında küçültülmüş video karesinin yeni bir pikselini çıkarmaya çalışır. Bununla birlikte, arada sırada, üretecek küçültülmüş piksel olmaz. İnput domain downscaler, ayrıca, bazen girdi piksellerinin bir satırının tamamını atlar. Öte yandan, ODD, küçüktülmüş pikselleri bulma işini bütün frame e yayar. Bunun bir sonucu olarak, ODD daha çok kaynak paylaşımı yapabilir, örneğin; aynı işi daha az aritmetik birim ile yapar, böylece İnput domain downscaler dan daha iyi alan etkili bir çözüm sunar. Bu tez, ODD mimarisini, genel özellik kaybı olmaksızın 1 ile 2 arasında bir oran ile uygulayacak. Bunun nedeni çift doğrusal ara değerlemenin daha büyük boyut küçültme oranları elde etmek için birçok kez 1 ve 2 arasında küçültme oranı uygulamak en iyi yöntemdir.

Downscaling and warping are found in many image/video processing applications. This thesis offers an area-efficient downscaler hardware architecture and an implementation of a warping algorithm on hardware. The proposed downscaler is called `ODD (Output Domain Downscaler)`. Both warping and output domain downscaler are demonstrated based on the implementation of bilinear interpolation method. Same interpolation method used in a different setting caused the difference between downscaler and warping implementations. Memory read and write methods of both warping and downscaler are also implemented with a single general FIFO. FIFO size calculation tool and a scheduler tool was used when implementing warping unit. Output domain downscaler is also combined with edge detection and sharpening spatial filter. This thesis compares output domain downscaler to a straight-forward implementation of the same combination of methods, which is called `Input Domain Downscaler`. Input domain downscaler tries to output a new pixel of the downscaled video frame every time a new pixel of the original video frame is received. However, every once in a while, there is no downscaled pixel to produce. Input domain downscaler sometimes also skips a complete row of input pixels. Output domain downscaler, on the other hand, spreads out the job of producing downscaled pixels almost uniformly over a frame. As a result of that, output domain downscaler is able to do more resource sharing, i.e., can do the same job with fewer arithmetic units, thus offers a more area-efficient solution than input domain downscaler. In this thesis, output domain downscaler architecture is implemented with a downscale ratio between 1 and 2 with no loss of generality. That is because it is best to achieve larger downscale ratios of bilinear interpolation by applying a downscale ratio between 1 and 2 multiple times.