3D indirect shape retrieval based on hand interaction

Abstract

Bu tezde, elle nesne etkileşimine dayalı, üç boyutlu şekilleri anlamlı biçimde elde eden yeni bir dolaylı 3B şekil analizi yöntemi sunulmaktadır. Çalışmamızın ilk bölümünde insan eli bilgileri Leap Motion cihazı ile işlenmekte ve sanal ortama aktarılmaktadır. Yöntemin bu adımında, elin pozisyonu ve rotasyonu, parmak eklemlerinin açısı kullanılır. Ayrıca, bu yöntemde etkileşim noktası adı verilen yeni bir özellik türü uygulanmaktadır. Bu etkileşim noktaları, el modelinde konumlandırılır ve elin 3B şekle değip değmediğini belirler. İkinci bölümde, bu el özelliklerinin Destekçi Vektör Makinesine uygulanması ile her 3B şekil analiz edilir. Elde edilen veriler, Destekçi Vektör Makinesi sonuçlarının 3B şekillerin analizi için kullanılabileceğini kanıtlamaktadır. Ayrıca, yöntemin sonuçlarını karşılaştırmak için Data Gloves cihazı kullanılarak başka bir etkileşim tabanlı analiz yöntemi uygulanmistir. Bu iki yontem, 3B şekillerin analizi için hangi özelliklerin önemli olduğunu gostermektedir. Bu tezin 3B sekil analizine katkısı üç şekilde olmaktadır: i) Pürüzlü ya da eksik objeler analiz edilebilir ii) Analiz şeklin hizalanmasından etkilenmez iii) Metodun performansı poligon sayısından bağımsızdır.

In this thesis, a novel 3D indirect shape analysis method is presented which successfully retrieves 3D shapes based on the hand-object interaction. In the first part of the study, the human hand information is processed and transferred to the virtual environment by Leap Motion Controller. Position and rotation of the hand, the angle of the finger joints are used for this part in our method. Also, in this approach, a new type of feature, which we call interaction point, is introduced. These interaction points are placed on the digital hand model and indicate whether the hand touches the 3D shape or not. In the second part, every 3D shape is represented by feeding hand features to the Support Vector Machine. Experiments validate that Support Vector Machine results are usable for retrieval of 3D shapes. Moreover, we compared the retrieval performance of our method with an interaction based indirect method based on Data Glove as well as a direct method based on 3D shape distribution histograms. These comparison revealed different advantages of our method, which are i) being lower-cost compared to Data Glove, and ii) being more discriminative compared to a direct approach. The main contribution of this thesis is threefold: i) Noisy and/or deficient 3d shapes can be retrieved ii) The retrieval is not affected by the alignment of shape iii) Performance of the method is independent of the polygon count of the shape.