Three-Dimensional facial motion and structure estimation in video coding

Abstract

Özet GORUNTU DİZİSİ KODLAMADA YÜZE AİT UÇ BOYUTLU HAREKET VE YAPI KESTİRİMİ Gözde Bozdağı Elektrik ve Elektronik Mühendisliği Doktora Tez Yöneticisi: Doç. Dr. Levent Onural 21 Ocak 1994 Tipik bir konuşmacı için geliştirilmiş bir tel çerçeve modeline dayalı üç boyutlu hareket kestirimi ve yüzdeki derinlik bilgisinin eldeki konuşmacıya uyarlanımı için yeni bir metod önerilmiştir. Kullanılan algoritma optik akı metoduna dayanmakta ve harekete bağlı fotometrik etkileri de kullanmaktadır. Kullanılan tel çerçeve modeli birbirine bağlı üçgenlerden oluşmakta ve bu üçgenlerin konumları normal vektörleri ile gösterilmektedir. Üçgenlerin birbirine bağlı olma özelliği algoritmada kullanılan bağımsız değişken sayısını azaltmaktadır. Bilinmeyen hareket ve yapı bilgilerinin bulunması için bir olasılıklı gevşeme metodu, başlangıç noktasının bulunması için de bir nokta eşleştirilme metodu gerçekleştirilmiştir. Hem gerçek hem de benzetilmiş yüz görüntü dizileri kullanılarak elde edilen sonuçlar sunulmuştur. Anahtar Görüntü dizisi kodlama, cisim modeline dayalı kodlama, 3-boyutlu Sözcükler: hareket ve yapı kestirimi, olasılıklı gevşeme, görüntülü telefon, çok düşük hızlarda iletim için kodlama, nesne şekli analizi, nesne hareketi analizi.

Abstract THREE-DIMENSIONAL FACIAL MOTION AND STRUCTURE ESTIMATION IN VIDEO CODING Gözde Bozdağı Ph. D. in Electrical and Electronics Engineering Supervisor: Assoc. Prof. Dr.Levent Onural 21 January 1994 We propose a novel formulation where 3-D global and local motion estimation and the adaptation of a generic wire-frame model to a particular speaker are considered simultaneously within an optical flow based framework including the photometric eiFects of the motion. We use a flexible wire-frame model whose local structure is characterized by the normal vectors of the patches which are related to the coordinates of the nodes. Geometric constraints that describe the propagation of the movement of the nodes are introduced, which are then efficiently utilized to reduce the number of independent structure parameters. A stochastic relaxation algorithm has been used to determine optimum global motion estimates and the parameters describing the structure of the wire-frame model. For the initialization of the motion and structure parameters, a modified feature based algorithm is used whose performance has also been compared with the existing methods. Results with both simulated and real facial image sequences are provided. Keywords: Image sequence coding, object-based coding methods, 3-D motion and structure estimation, stochastic relaxation, videophone, very low bit rate coding, object shape analysis, object motion analysis.