An augmented reality application for virtual instrument playing

Abstract

Artırılmış Gerçeklik son zamanlarda, otomotivden eğlenceye, telekomdan, tıbba, vb.birçok endüstride popülerliği artan bir konu olmaya başlamıştır. Bununötesinde, hareket sensörleri de ekstra bir kurulum gerektirmeden kullanıcılarınhareketlerini yakalamayı sağlayarak son zamanlarda fark edilebilir gelişmekaydetmiş ve bu durum onları erişimi kolay ve taşınabilir hale getirmiştir. Bu tez;artırılmış gerçeklik ve hareket yakalama teknolojilerini kullanarak kullanıcıların evortamında, davul odaklı olmak üzere bir sanal enstrüman oluşturulması üzerineyoğunlaşmaktadır. Bir kullanıcı, bir bilgisayar ve kameralı bir hareket sensöründenoluşan bir kurulum oluşturulmuştur. Kullanıcı, bu durumda davulcu, sanal davuluçalmaya başlar ve bu sırada hareket sensörü entegre kamerasıyla kullanıcınınhareketlerini ve renkli kamera verisini yakalayıp işlemesi için bilgisayara gönderir.Bilgisayar, alınan girdiye göre kullanıcının vuruş hızı ve vurulan parçanın pozisyonugibi verileri kullanarak gereken ses çıktılarını hesaplar ve vurulan davul parçası içinuygun sesi oynatır. Bilgisayar aynı zamanda bir sanal ortam oluşturup, hareketsensörü tarafından gönderilen gerçek ortam ile entegre ederek, son oluşturulmuşsahne bilgisini ses ile birlikte eş zamanlı olarak bilgisayar ekranında kullanıcıyagösterir.Bunların dışında, bu tez çalışması, daha önceki tez çalışmaları tarafından şu anakadar bir arada kullanılmamış olan artırılmış gerçeklik ve hareket yakalamateknolojilerinin ikisini bir arada kullanır. Ayrıca, daha önceki çalışmalarda sunulankısıtlı sayıdaki davul parçasına nazaran daha fazla davul parçası sunar.

Augmented Reality has become a trending topic recently in various industries; fromautomotive to entertainment, telecom, medicine, etc. Besides this, motion sensor devices have alsomade noticeable progress by enabling end-users to capture their movements withoutrequiring any further setup which makes them portable and easy-to-access. Thisthesis focuses on creating a virtual instrument with further focus on drums byutilizing the technologies of augmented reality and motion capturing in the comfortof user's home. A setup was created consisting of a user, a computer and a motionsensor device with an integrated camera. The user, drummer in this case, starts toplay the virtual drum, in the meantime, the motion sensor device captures the user'smovements and the normal color data via its integrated camera and then sends thesedata to the computer to process. The computer calculates the audio data like thespeed of user's arm and leg movements, speed of hits and position of hit drum partbased on the input received and plays the appropriate sound for the hit drum part. Italso produces the virtual environment and integrates it with the real environment datasent by the motion sensor device and shows the final composed scene environmentdata to the user on its screen simultaneously with the sound played.Furthermore, this thesis utilizes both augmented reality and motion tracking whichhave not been applied together by previous studies. Also it offers more drum partsthan previous studies which have only limited number of drum parts.