Video object segmentation for interactive multimedia

Abstract

ÖZET etkileşimli çogulortamlılık için video nesne bölütlemesi Tolga Ekmekçi Elektrik ve Elektronik Mühendisliği Bölümü Yüksek Lisans Tez Yöneticisi: Prof. Dr. Levent Onural Kasım 1998 Geliştirilmekte olan MPEG-4 ve MPEG-7 standartları, verilerin nesneler ha linde saklanmasını ve yapılacak işlerin bu nesneler üzerinde yürütülmesini öngör mektedir. Ama bu standartlar bu nesnelerin nasıl elde edileceğini tanımlamamak tadır. Video nesnelerinin bölütlenmesi için bir çok metod önerilmiştir. Avrupa Topluluğu tarafından organize edilen projelerden COST-211ter çerçevesinde geliş tirilen `Analiz Modeli` de bunlardan biridir. Analiz Modeli'nin performansı bazı durumlarda kabul edilebilir olmakla birlikte diğer birçok durumda elde edilen sonuçları `anlamlı nesneler` olarak değerlendirmek mümkün değildir. Bu çalışma da Analiz Modeli'nin modüler tasarımı sayesinde modele yeni bir modül ek lenmiş, eski modüller daha iyi çalışan yenileriyle değiştirilmiş ve sonuç olarak modelin daha başarılı olması sağlanmıştır. Yeni eklenen modül içinde hareket kestirimi modülü kullanılarak bir parametre hesaplanmış, ve bu parametre video karelerinin atlanmasında kullanılmıştır. Varolan hareket kestirimi modülüne en büyük sonsal olasılık kriteri (MAP) ve Gibbs enerjilerine dayanan yeni bir metod eklenmiş, böylece daha doğru hareket vektörleri elde edilmiştir. 3-B düzlemsel nesnelerin hareketlerini açıklayan modelin hareket bölütlemesi modülüne ilave edilmesiyle Analiz Modeli 'nde daha karmaşık hareketleri inceleyebilmek mümkün olmuştur. Elde edilen sonuçlar Analiz Modeli'nin performansının önemli ölçüde iyileştiğini göstermektedir. Anahtar kelimeler. Video işleme, video nesne bölütlemesi, veri tümleşimi, nesne takibi, etkileşimli çogulortamlilik, MPEG-4, içeriğe dayalı arama, MPEG-7 iv

VIDEO OBJECT SEGMENTATION FOR INTERACTIVE MULTIMEDIA J93Z1 A THESIS SUBMITTED TO THE DEPARTMENT OF ELECTRICAL AND ELECTRONICS ENGINEERING AND THE INSTITUTE OF ENGINEERING AND SCIENCES OF BILKENT UNIVERSITY IN PARTIAL FULFILLMENT OF THE REQUIREMENTS FOR THE DEGREE OF MASTER OF SCIENCE By Tolga Ekmekçi November 1998,r/. AI certify that I have read this thesis and that in my opinion it is fully adequate, in scope and in quality, as a thesis f^r the degree of Master of Science. Prof. Dr. Levent Onural (Supervisor) I certify that I have read this thesis and that in my opinion it is fully adequate, in scope and in quality, as a thesis for the degree of Master of Science. £).QjLdL^ Assist. Prof. Dr. Orhan Ankan I certify that I have read this thesis and that in my opinion it is fully adequate, in scope and in quality, as a thesis for the degree of Master of Science. (2 Assoc. Prof. Dr. Gözde Bozdağı Approved for the Institute of Engineering and Sciences: Prof. Dr. Mehmet Director of Institute of EngineeÖng and Sciences 11ABSTRACT VIDEO OBJECT SEGMENTATION FOR INTERACTIVE MULTIMEDIA Tolga Ekmekçi M.S. in Electrical and Electronics Engineering Supervisor: Prof. Dr. Levent Onural November 1998 Recently, trends in video processing research have shifted from video com pression to video analysis, due to the emerging standards MPEG-4 and MPEG-7. These standards will enable the users to interact with the objects in the audiovi sual scene generated at the user's end. However, neither of them prescribes how to obtain the objects. Many methods have been proposed for segmentation of video objects. One of the approaches is the `Analysis Model` (AM) of European COST-211 project. It is a modular approach to video object segmentation prob lem. Although AM performs acceptably in some cases, the results in many other cases are not good enough to be considered as semantic objects. In this thesis, a new tool is integrated and some modules are replaced by improved versions. One of the tools uses a block-based motion estimation technique to analyze the motion content within a scene, computes a motion activity parameter, and skips frames accordingly. Also introduced is a powerful motion estimation method which uses maximum a posteriori probability (MAP) criterion and Gibbs energies to obtain more reliable motion vectors and to calculate temporally unpredictable areas. To handle more complex motion in the scene, the 2-D affine motion model is added to the motion segmentation module, which employs only the translational model. The observed results indicate that the AM performance is improved substantially. The objects in the scene and their boundaries are detected more accurately, com pared to the previous results. Keywords: Video processing, video object segmentation, data fusion, object tracking, interactive multimedia, MPEG-4, content-based search, MPEG-7 m