3d interaction integrating 2d mouse and 3d head tracking

Abstract

Bu çalışma ile üç boyutlu (3D) masaüstü sanal ortamlarda kullanılmak üzere iki boyutlu (2D) mouse ile 3D baş takibinin entegrasyonuna dayalı üç boyutlu çoklu biçimli bir kullanıcı arayüzü önerilmiştir. Bu arayüzün işlevselliğini ve kullanılabilirliğini test etmek üzere bir test ortamı da tasarlanmıştır. Güncel bir masaüstü bilgisayardan, web kamerasından ve bir mousedan oluşan test ortamında, geleneksel doğrudan elle müdahele teknikleri kafa hareketleri ile gerçekleştirilecektir. Basit ve karmaşık taşıma ve döndürme görevleri sırasında kullanıcı performansı ölçülerek 2D etkileşim cihazının üç boyutlu ortama olan izdüşümünün yarattığı olası etkiler ve kafa takibinin eller serbest bir üç boyutlu arayüz olmaya yönelik kabiliyetleri anlaşılmaya çalışılmıştır. Test sonuçlarının kafa takibi ve iki boyutlu etkileşim cihazının entegrasyonunun üç boyutlu masaüstü sanal ortamlarda kullanılmasının uygunluğuna yönelik ipuçları vereceği öngörülmüştür. Bu çalışmadan sonraki ilk adım önerilen arayüzün bir oyun ortamına entegre edilerek kullanılabilirlik testlerinin tekrarlanması ve elde edilen sonuçların test ortamı sonuçlarıyla karşılaştırılması olacaktır.

This work demonstrates a three dimensional (3D) multimodal user interface integrating 2D mouse input and 3D head tracking for 3D desktop virtual environments (DVE). A test-bed is proposed to evaluate the functionality and usability of this 3D interface. The traditional direct manipulation techniques are performed by the rotation of head to interact with the objects in 3D DVE composed of a relatively up-to-date desktop computer, a webcam and a mouse. User performance is compared during simple and complex translation and rotation tasks to understand both the effects of possible mappings of 2D interaction device in a 3D environment and the capability of head tracking as a hands-free 3D user interface for multimodal purposes. The results indicate how suitable head tracking is as a 3D interface integrated with 2D interaction device to be used in a 3D DVE. The next step after this test will be an experiment to identify benefits of this interface in an actual video game environment as a means to find out whether it is possible to transfer the findings to the game environment or not, and the usability level changes compared to the findings of the test-bed.