Surface tracking from multiview video

Abstract

Zamanla değişen nesnelerin çok-bakışlı video dizilerinden 3B geriçatımı için hızlı ve verimli bir yüzey izleme yöntemi tanıtılmaktadır. Dinamik bir nesne örgü modelinin geometrisi ve bağlanırlığı, çok-bakışlı silüet ve 3B sahne akış bilgisine dayalı bir yöntemle, bir ilk gösterimden yola çıkarak, zaman içinde izlenir. Her çerçeveye ait örgü gösterimi, bir önceki çerçevenin örgü gösterimini silüet bilgisi ile belirlenen optimal yüzeye doğru deforme ederek elde edilir. Bu deformasyon süreci, örgü yeniden-yapılandırma işlemleri ve 3B sahne akış bilgisi ile desteklenir. Elde edilen uzay-zamanda pürüzsüz örgü dizisi, örgü yeniden-yapılandırma işlemleri ve tepe noktalarının küçük ölçekli yerdeğiştirme vektörleri cinsinden, ilk çerçevenin örgü gösterimi ile birlikte, verimli bir şekilde kodlanabilir. Önerilen yöntemin hızlı olması ve gösterim maliyeti düşük örgü modelleri üretmesinin yanısıra, bir diğer avantajı da devinimi katı olmayan dinamik nesnelerin modellenmesi için kullanılabilmesidir. Devinimi katı olmayan bir nesneyi temsil eden örgü gösteriminin zamanla değişebilen bağlanırlığı, deformasyon şırasında kullanılan örgü yeniden-yapılandırma işlemleri sayesinde başarı ile izlenebilmektedir. Yöntemin başarımı, hem gerçek hem de sentetik video dizileri üzerinde sınanmıştır.

We present a fast and efficient surface tracking method for modeling dynamic objects from multiview video streams. Starting from an initial mesh representation, the surface of a dynamic object is tracked over time, both in geometry and connectivity, based on multiview silhouette and 3D scene flow information. The mesh representation of each frame is obtained by deforming the mesh representation of the previous frame towards the optimal surface defined by the time-varying multiview silhouette information, using mesh restructuring operations and vertex displacements assisted by 3D scene flow vectors. The whole time-varying surface is then represented as a mesh sequence that can efficiently be encoded in terms of restructuring operations and small-scale vertex displacements along with the initial model. Our reconstruction method hence yields a compact time-varying mesh representation of the dynamic object, which is smooth both in time and space. The proposed method is not only fast and produces storage efficient mesh representations, but it also has the ability to deal with dynamic objects that may undergo nonrigid transformation. The time-varying mesh structure of such nonrigid surfaces, which is not necessarily of fixed connectivity, can also successfully be tracked thanks to the restructuring operations employed in our deformation scheme. We demonstrate the performance of the proposed method both on real and synthetic sequences.