Yeni nesil Kinect kamera ile 3B ortamlarda nesne seçme

Abstract

İnsan bilgisayar etkileşimi; uygulamalar, oyunlar, benzetimler ve diğer birçok ortamlar için en temel unsurlardan biridir. İnsan bilgisayar etkileşimi üzerinde birbirinden farklı senaryolar için, birbirinden farklı araçlar kullanılarak geliştirilen pek çok yöntem mevcuttur. Bu yöntemler ekrandaki imleci hareket ettirme, nesne seçme gibi alanlarda yoğunlaşmıştır. Nesne seçme, insan bilgisayar etkileşiminde en çok çalışma yapılan ve en çok kullanılan alanlardan biridir. Önceleri 2B ortamlar üzerinde çeşitli yöntemler kullanılarak geliştirilmiş olan nesne seçme işlemi, daha sonraları 3B ortamlar üzerinde de geliştirilmeye başlanmıştır. Fakat 2B ortamlara özel geliştirilen yöntemler 3B ortamlara uyarlanırken pek çok farklı problem ortaya çıkmıştır. Bu nedenle 3B ortamlarla etkileşim için yeni araçlar geliştirilmiş ve bu araçlar yardımıyla etkileşim sağlanmıştır. 3B ortamlara özel olarak geliştirilen yöntemlerde bu araçların kullanılması ile beraber; kurulum süresi, işaretleyici giyme ya da taşıma zorunluluğu gibi problemler kendini göstermiştir.Çalışma kapsamında 3B ortamlarda kurulum, işaretleyici giyme ya da taşıma gereksinimi olmadan en uygun nesne seçme yönteminin tespit edilmesi amaçlanmıştır. Bunun yanı sıra tespit edilen yöntemlerin kullanım kolaylığı, hız ve kesinlik açısından daha verimli hale getirilmesi hedeflenmiştir. Bu bağlamda, bahsedilen parametrelere göre seçilen üç farklı yöntemin kıyaslanabilmesi için 'el serbest' biçimde seçme işlemi yapılabilen deneysel bir 3B oyun geliştirilmiştir. Oyunda insan bilgisayar etkileşimini sağlamak amacıyla Kinect kamera kullanılmıştır. Geliştirilen oyun Kinect ikinci sürüm kamera ile entegre edilmiş ve Kinect'in gelişmiş özellikleri kullanılarak kullanıcı etkileşiminin daha verimli hale getirilmesi sağlanmıştır. Kinect kameranın derinlik algılayan sensörleri sayesinde üç boyuttaki kullanıcı hareketleri kolayca alınarak oyunda işlenebilmiştir.Oyunda Kinect kamera aracılığıyla yapılan nesne seçme işleminde kullanılan yöntemler, bu yöntemlerin farklı ortamlardaki davranışlarının tespit edilebilmesi amacıyla 'nesne az yoğun', 'nesne çok yoğun' ve 'nesne hareketli' ortamlarda test edilmiştir. Ayrıca farklı büyüklükteki nesnelerin seçim hızına etkisinin tespit edilebilmesi amacıyla test için oluşturulan ortamlardaki nesneler farklı boyutlarda seçilmiştir. Geliştirilen ortamlarda yöntemlerin kıyaslanabilmesi için gereken veriler, bu oyunu oynayan kullanıcı verilerinden elde edilmiştir. Her testin sonunda kullanıcılar oyun değerlendirme anketini doldurmuş ve ankette yer alan sorulara verilen yanıtlar incelenerek kullanıcıların yöntemler hakkındaki değerlendirmeleri analiz edilmiştir. Ardından, elde edilen veriler kullanılarak Fitts analizi yapılmış ve zorluk göstergesi ve seçme süresindeki doğru orantı gösterilmiştir. Bunun yanı sıra Fitts analizi ile yöntem ve ortamlar için performans göstergeleri hesaplanmış ve birbirleri ile kıyaslanmışlardır. Seçilen ilk iki yöntem yeni geliştirilen ortama uygun çalışabilmesi için güncellenmiş, bunun yanı sıra iki farklı yöntemden esinlenilerek geliştirilen yeni bir hibrit yöntem oluşturulmuştur. Geliştirilen bu hibrit yöntem 'nesne az yoğun' ve 'nesne hareketli' ortamlarda diğer yöntemlere yakın performans sergilerken 'nesne çok yoğun' ortamlarda diğer yöntemlere göre daha iyi seçme performansı sağlamıştır. Benzer şekilde katılımcı değerlendirmeleri analiz edildiğinde 'nesne az yoğun' ve 'nesne hareketli' ortamlarda kullanıcı yöntem tercihlerinde anlamlı bir fark olmadığı ancak 'nesne çok yoğun' ortamda kullanıcıların geliştirilen hibrit yöntemi tercih ettikleri görülmüştür.

Human computer interaction is one of the most fundamental element for applications, games, simulations and many other environments. There are many methods on human computer interaction to use that are developed by using different tools in different scenarios. These methods are concentrated in areas such as move the cursor on the screen and object selection. Object selectin is one of the most studied and used area in computer interaction. Object selection process, which was developed using a variety of methods on 2D environments previously, have been developed on 3D environments subsequently. While specially developed methods on 2D environments are tailored to work on 3D environments, many different problem has emerged. For this reason, new tools are developed in order to interact with 3D environments and interaction is completed with the assist of these tools. With the use of new developed tools on methods which specially developed on 3D environments; many problem is emerged such as setup time, having to carry or wear marker.The scope of the study is determining the most appropriate method for object selection in 3D environment without the need for wearing or carrying the marker object or setup the environment. In addition, making identified methods more efficient in terms of ease of user, speed and precision is aimed. In this context, to compare three different selected methods according to selected parameters, an 3D experimental game which allows selecting objects with free hand gestures has been developed. Kinect camera was used to ensure the human computer interaction in the experimental game. Developed game is integrated with second version Kinect camera and using the advanced features of the camera are provided to make user interaction more efficient. Thanks to the Kinect camera depth sensors that detect in three dimension movements of the user could be handled easily in the game.The methods used in the process of selecting object via Kinect camera in the game, has been tested on sparse, dense and mobile environments in order to determine the behavior of different environments. Moreover, in order to calculate the impact on speed of different sized objects, objects are selected in different sizes in the environment created for testing. Necessary data to compare the methods are obtained from the data of the users who played the game. At the end of each test, each user has filled the evaluation survey of the game and answers to the questions in the survey were analyzed by examining the evaluation of users. Then, Fitts analysis performed using data obtained from tests and linearity between index of difficulty and selection time has been shown. First two selected methods have been updated to operate in accordance with the newly developed environment and also new hybrid method inspired by two different methods has been created. While hybrid method exhibits close performance to other methods on sparse and object moving environments, it has provided better selection performance than other methods on dense environment. Similarly, when evaluation of participants analyzed, it has been detected that there is no significant difference on method preference of participants on sparse and object moving environments but more participants preferred the hybrid method on dense environments.