Virtual sculpting with advanced gestural interface

Abstract

Bu çalışmada, gerçek dünya heykeltıraşlığına benzeyen ön / kavramsal modelleri tasarlamak için kullanılabilir bir sanal gerçeklik uygulaması sunuyoruz. Önerilen sistem, insan-bilgisayar etkileşimi deneyimi artıran yenilikçi bir işaret tabanlı arayüz kullanmaktadır. İşaret tabanlı arayüz, el ve parmak hareketleri yakalamak için, klasik girdi aygıtları olan fare ve klavye yerine, veri eldiven ve altı derece serbestlikte veri toplayan bir manyetik konum izleyicilerden faydalanmaktadır. Tasarımlar; hacimce deforme edilebilir model, tasarım araçları ve sanal el içeren bir sanal ortamda gerçekleştirilmektedir. Sanal tasarım ortamında yer alan bu sanal el, veri eldiven ve pozisyon izleyici sayesinde kullanıcının el hareketlerini taklit ederek yönlendirilmektedir. Sistem, kullanıcıların tasarım araçları ve sanal el yardımıyla deforme edilebilir modeli işleyerek şekil vermesine olanak tanımaktadır. Model üzerinde deformasyon, tasarım araçları veya doğrudan sanal el ile, modele dışardan malzeme (hacim hücreleri) doldurma veya modelden malzeme oyularak yapılmaktadır. Tasarım sürecinde sistem ?kuvvet geribildirim göstergesi? sayesinde kullanıcılara görsel yardım sağlamaktadır. Ayrıca kullanıcılar, veri eldiveni ve pozisyon izleyiciyi tarafından yönlendirilen ?el faresi? ile geleneksel grafik kullanıcı arayüzü öğeleri ile etkileşime girebilirmektedirler. Kullanıcılar aynı zamanda gerçek zamanlı yörünge tabanlı el hareket/jest tanıyan algoritma sayesinde uygulamayı kontrol edebilmektedirler. Sunulan el hareketi tanıma tekniği, kapsamlı ve büyük eğitim verilerine ihtiyaç duymadan, sisteme yeni hareketler öğretmeye olanak sağlamaktadır. Sunulan teknikte, el hareketleri, 2 boyutlu yönlü hareketlerin sıralı dizisi olarak temsil edilir. Öğrenme aşamasında, sisteme sunulan örnek jestler/el hareketleri filtrelenerek işlenir. Daha sonra bu işlenmiş veri birer sonlu durum makinesi dizi tanıyıcıları olan el hareketi tanıyıcı makinaları oluşturmak için kullanılmaktadır. El hareketleri, jestlerin başlangıç ve bitiş noktaları belirtmeye gerek kalmadan bu tanıyıcılar tarafından gerçek zamanlı olarak sistem tarafından tanınabilmektedirler. Tez kapsamında yapılan kullanıcı çalışmasının sonucunda, önerilen yöntem, sürekli bir hareket akışı içersinde belirli el hareketlerini/jestleri /% 73 doğruluk ile algılama ve tanıma performansı göstermiştir. Ayrıca kullanıcı tutum anketinin sonuçlarına göre, işaret tabanlı arayüz kullanıcılar tarafından çok yararlı ve tatmin edici bulunmuştur. Önerilen yaklaşımın en önemli faydalarından biri de kullanıcıların seçilen görevler için kendi tercihlerine göre hareket komutları oluşturma özgürlüğü veriyor olmasıdır. Böylece, sunulan jest tanıma yaklaşımı insan-bilgisayar etkileşim sürecini daha sezgisel ve kullanıcıya özel hale getirmektedir.

In this study, we propose a virtual reality application that can be utilized to design preliminary/conceptual models similar to real world clay sculpting. The proposed system makes use of the innovative gestural interface that enhances the experience of the human-computer interaction. The gestural interface employs advanced motion capture hardware namely data gloves and six-degrees-of-freedom position tracker instead of classical input devices like keyboard or mouse. The design process takes places in the virtual environment that contains volumetric deformable model, design tools and a virtual hand that is driven by the data glove and the tracker. The users manipulate the design tools and the deformable model via the virtual hand. The deformation on the model is done by stuffing or carving material (voxels) in or out of the model with the help of the tools or directly by the virtual hand. The virtual sculpting system also includes volumetric force feedback indicator that provides visual aid. We also offer a mouse like interaction approach in which the users can still interact with conventional graphical user interface items such as buttons with the data glove and tracker. The users can also control the application with gestural commands thanks to our real time trajectory based dynamic gesture recognition algorithm. The gesture recognition technique exploits a fast learning mechanism that does not require extensive training data to teach gestures to the system. For recognition, gestures are represented as an ordered sequence of directional movements in 2D. In the learning phase, sample gesture data is filtered and processed to create gesture recognizers, which are basically finite-state machine sequence recognizers. We achieve real time gesture recognition by these recognizers without needing to specify gesture start and end points. The results of the conducted user study show that the proposed method is very promising in terms of gesture detection and recognition performance (73/% accuracy) in a stream of motion. Additionally, the assessment of the user attitude survey denotes that the gestural interface is very useful and satisfactory. One of the novel parts of the proposed approach is that it gives users the freedom to create gesture commands according to their preferences for selected tasks. Thus, the presented gesture recognition approach makes the HCI process more intuitive and user specific.