Segmentation of articulated 3D mesh sequences

Abstract

3B biçimlerin kesimlemesi, 3B nesnelerin sayısal olarak elde edilmiş örgü modellerinin anlaşılması ve işlenmesinde önemli bir basamak olmakla beraber, iskelet özütleme, model deformasyonu, örgülerin şeklini değiştirme, hareket tanıma, biçimlerin geri kazanımı, sıkıştırma ve çarpışma sezimi gibi bilgisayar grafiği ve bilgisayarla görme konularında da birçok uygulamaya sahiptir. Mevcut 3B biçim kesimleme yöntemlerinin büyük çoğunluğunun yalnızca durağan örgüleri göz önünde bulundurmasına karşın, hareketli nesnelerin devingen biçim modelleri, 3B edinim yöntemlerinin yakın zamandaki gelişimiyle beraber hızla yaygınlaşmaktadır. Bu akımın tipik bir örneği de, insan aktörlerin eklemli hareketini gösteren, değişmez bağlanırlık sahibi örgü dizilerinin kullanımıdır.Bu tezde, hareket bilgisi ekleyerek devingen örgü dizisi olarak verilmiş 3B eklemli şekillerin kesimlemesinde kullanılmak üzere ve durağan kesimleme yöntemleriyle elde edilen sonuçları iyileştirecek bir kesimleme yöntemi tanıtılmaktadır. Eklemli şeklin değişmez bağlanırlığa sahip bir örgü dizisi olarak verildiği, bu yüzden tepe noktalarının çerçeveler arası karşılıklarının ve dolayısıyla hareketlerinin önceden bilindiği varsayılmaktadır. Tepe noktaları arasındaki hem zamansal hem de uzamsal benzerlikleri kodlayan bir ilginlik matrisi oluşturmak için eklemli şeklin birden fazla çerçevedeki duruşu kullanılmaktadır. Daha sonra biçim, standart K-means ya da merge-cluster gruplandırma algoritmalarından birisi kullanılarak ilginlik matrisine dayalı olarak spektral alanda kesimlere ayrılır. İleri sürülen kesimleme yönteminin başarımı çeşitli örgü dizileri üzerinde gösterilmiştir.

3D shape segmentation is a key step for processing and understanding of digitally acquired mesh models of 3D objects and has numerous applications in computer graphics and vision such as skeleton extraction and model deformation, mesh morphing, gesture recognition, shape retrieval, compression and collision detection. While most of the existing 3D shape segmentation methods consider only static meshes, dynamic shape models of moving objects are becoming more and more commonplace with the recent advances in 3D acquisition techniques. A typical example of this trend is the use of ? xed connectivity mesh sequences to represent human actors with articulated motion.In this thesis, we present a method to segment an articulated shape given in the form of a dynamic mesh sequence by incorporating motion information so as to further improve the segmentation results obtained by static segmentation methods. We assume that the articulated shape is given in the form of a mesh sequence with ? xed connectivity so that the interframe vertex correspondences, hence the vertex movements, are known a priori. We use different postures of an articulated shape in multiple frames to constitute an af ? nity matrix which encodes both temporal and spatial similarities between surface points. The shape is then decomposed into segments in spectral domain based on the af ? nity matrix using one of the merge-cluster algorithm or the standard K-means clustering algorithm. The performance of the proposed segmentation method is demonstrated on various mesh sequences.