True motion estimation for video frame rate up-conversion

Abstract

Yüksekçözünürlüklü görüntülemeteknolojilerinin icadı ile yüksekçözünürlük videoyu saklma, iletme vegörüntüleme formatlarındaki değişikliklervideo standartları çevirimi problemini önemli bir konumagetirmiştir. Standart çevirim problemi olan videoçerçeve hız artırımı yüksekçözünürlüklü ekranlar için önemlibir sorun olarak kabul edilmelidir çünkü buekranların yenileme hızları 100 Hz'e kadarçıkabilmektedir ve düşük çerçevehızına sahip bir videonun bu ekranlardagörüntülenmeden önce ön işlemlerdengeçirilip çerçeve hız artırımısağlanmalıdır. Klasik yöntemlerle sağlanançerçeve hız artırımı ekranda düzensizhareketlere ve titreme etkisine neden olmaktadır. Bu tezinamacı video çerçeve hız artırımında titremeetkisini ve kapanma /açılma yapaylıklarınıkaldırmak ve çerçeveler arasında yumuşak bir nesnehareketi oluşturmaktır. Bu tez çalışması sorunuçözmek amacıyla gerçek devinim vektör alanıüreten çok aşamalı devinim vektör artişlemlerini tanımlamakta ve çerçeve hızartırımı için kapanma/açılma uyarlamalıörtüşmeli blok devinim denkleştirmesi yönteminiönermektedir. Klasik devinim kestirim (DK)algoritmalarının verdiği düşükgüvenirlikli devinim vektörleri (DV) çok aşamalıiyileştirme art-işlemlerine tabi tutulur. Uzamsal olaraktutarlı bir DV alanı elde edildikten sonra komşuvektörler arasındaki ilişkiler kullanılarakkapanma/açılma bölgeleri tespit edilir.örtüşmeli blok devinim denkleştirme filtresi(öBDD) tespit edilen bu bölgelere uyarlanılarakkapanma/açılmadan kaynaklanan yapaylıklarınazaltılması sağlanır. Böylece varolan çHAyöntemlerine göre uzamsal çözünürlüktendaha az ödün verilerek ve daha az yapaylıkla çHAgerçekleştirebilen bir sistem önermekteyiz.

Since the invention of high definition display technologies, video standards con-version problem has become an important task to store, transmit and displaynew video formats. One of the standards conversion issue, video frame rateup-conversion(FRUC) should be considered as an important problem for highdefinition displays because these displays reach high refresh rates up to 100Hzand low video frame rates should be increased before displaying. The solutionsgenerated by conventional FRUC techniques cause artifacts such as jerky motionand judder effect on the screen. The objective of this thesis is to remove judderand occlusion artifacts and generate a smooth object motion for high definitiondisplays. In order to solve the problem, this thesis describes a multi-stage motionvector (MV) post-processing technique for true motion estimation and proposesa new video frame rate up-conversion method with occlusion adaptive overlappedblock motion compensation, which increases the temporal resolution without lossof spatial resolution and consistency. Conventional block matching algorithmsyields us unreliable MVs which should be post-processed in the refinement stagesto get a consistent MV field in spatial domain . Relations between neighboringMVs are utilized to detect occlusion regions. Overlapped Block Motion Compen-sation (OBMC) is adapted to these problematic regions in order to reduce haloartifacts caused by occlusion. Compared to existing methods, the proposed algo-rithm achieves FRUC with reduced loss of spatial resolution and reduced amountof artifacts.