Artifact reduction in occluded regions for motion compensated frame interpolation

Abstract

Bu makalede, devinim denkleştirmeli çerçeve ara değerlemesinin örtülmüş bölgelerinde uygulanması için yeni bir metod öneriyoruz. Dijital video sistemlerinin kullanımı arttıkça çerçeve hızının yukarı çevriminin önemi artıyor. Standart çevrim teknikleri çözünürlüğün bozulma olmadan arttırılması için yeterli değil. Bu nedenle alıcıların en iyi görüntüyü alabilmesi için devinim denkleştirmeli art işlemci teknikleri geliştiriliyor. Doğru yada güvenilir devinim vektörlerinin belirlenmesi aradeğerlenmiş çerçevedeki yapay hataların ve biçim bozulmalarının önlenmesi için en önemli unsurdur. Literatürde bu amaç için geliştirilmiş birçok metod bulunmaktadır. Fakat bu metodlar çerçeve aradeğerlemesinde göze batan yapay hatalara sebep olmaktadır. Özellikle bu metodlar kapatılan ve açığa çıkarılan bölgeler için kabul edilebilir sonuç vermemektedir. Çalışmamızda devinim denkleştirmeli çerçeve ara değerlemesinde kullanılacak doğru vektörün bulunması için geliştirilmiş çok aşamalı başarılı bir metoda güvenerek hareket ediyoruz. Analizlerimize göre bütün bu art işlemci aşamaları güvenilir devinim vektörlerinin bulunması için etkili olmakla beraber kapatılan ve açığa çıkarılan bölgelerdeki problemin çözülmesiyle ilgili yetersiz kalmaktadır. Bu tezde, bu bölgelerdeki sorunun çözülmesi için yeni metodlar önermekteyiz. Birçok uyarlanmış metotta sadece geçmiş veya gelecek çerçevelerden elde edilen bilgiler örtülmüş bölgelerdeki çerçeve aradeğerlemesi için kullanılırken, bizim önerimizde örtülmüş bölgelerde gruplanmış yapay hatayı önlemek amacıyla dört komşu çerçeveden elde edilen bilgilerin ağırlıklı birleşimi kullanılıyor. Deneyler sonuçları gösteriyor ki, önerdiğimiz methodlar örtülen alanlarda çerçeve aradeğerlenmesi yaparken oluşabilecek yapay hata probleminin çözümü için etkili olmakta, keskin yapay bozulmaları azaltmakta ve daha iyi görüntü kalitesi sağlamaktadır.

In this paper, we propose a new method to be used in occluded regions for motion compensated frame interpolation. Frame rate up conversion is becoming much more important when usage of digital video systems increase. Standard conversion techniques are not effective in increasing the temporal resolution of video without any degradation. Therefore, motion compensated post processing techniques are developed to obtain the best possible image at the receiver. Specifying the correct or reliable motion vectors is the most important issue to be able to prevent the artifacts and deformed structures in interpolated frames. There are many methods in literature developed for that purpose. However, these methods generally create annoying artifacts in interpolated frames. Significantly, they can not provide acceptable results for covered and uncovered regions. In our work, we build upon the successful multi-stage post processing method which is used to obtain the correct vector for motion compensated frame interpolation. According to our analysis, all these post processing stages are effective to specify the reliable motion vectors, but they are not sufficient to solve the problem in covered and uncovered regions. In thesis, we suggest methods to be able to solve the problem occurring in these regions. In most of the adaptive methods, either past or future frames are used for interpolation in covered/uncovered regions, respectively, but in our proposals we interpolate the new frame by using a weighted combination of the four neighboring frames to minimize the sharp blocking artifacts that occur because of uni-directional interpolation in occluded regions. Experimental results show that our proposed method is robust in occluded areas, and reduces the sharp artifacts in the interpolated frame for covered and uncovered regions, and provides better picture quality.