Dynamic force due to relative motion in haptic video

Abstract

Bu tez video ve onunla piksel bazında ilişkilendirilmiş derinlik bilgisini, video içerisindeki cisim ve bu cisimle etkileşmek için kullanılan dokunsal arayüz noktası (HIP) arasındaki bağıl devinim sonucu oluşan dinamik kuvvetleri göz önünde bulundurarak haptic etkileşim alanına yeni bir yaklaşım sunmaktadır.Video içeriğine haptic (dokunsal) bilgi tümleşimi, cisimin geometrisi ve dokusuna bağlı haptic (dokunsal) giydirilmesi konusunda mevcut çalışmalar olmasına rağmen, bildigimiz dahilinde bağıl devinim kaynaklı dinamik kuvvetlerin haptic giydirilmesiyle ilgili bir çalışma bulunmamaktadır. Bizim yaklaşımımızda, video içeriği değitirilmesede, kullanıcı tarafından hissedilen kuvvet HIP'in görüntüdeki cisime göre yaptığı harekete bağlı olarak değişir. Bu amaçla HIP ivmesi sensörlerden elde edilen pozisyon bilgisinin numerik türevlemesiyle hesaplanırken, videodaki derinlik bilgisi ve devinim kestirim teknikleri kullanılarak da cisimin ivmesi kestirilmektedir. Daha sonra HIP ve görüntüdeki cisime kütle ataması yapılır. Bu atama yapılırken hesaplanacak kuvvetin haptic cihaz tarafından izin verilen azami kuvveti geçmemesi göz önünde bulundurulur. Son olarak bağıl devinim kaynaklı dinamik kuvvet Newton'un ikinci yasası kullanılarak hesaplanır ve haptik cihaz aracılığıyla kullanıcılara cisimin geometrik özelliklerinden kaynaklanan statik kuvvete ek olarak geri bildirilir. Dinamik kuvvetlerin eklendiği ve eklenmeden önceki haptic giydirilmesi sonucu hesaplanan kuvvetlerin deneysel sonuçları sağlanmıştır.

This thesis presents a new approach for haptic interaction with video and associated pixel-based depth data, including rendering of dynamic force due to relative motion between an object in a video and the haptic interface point (HIP) of the user. While the concept of haptic video, that is, haptic rendering of forces due to geometry and texture of objects in a video, has already been proposed, haptic rendering of force due to relative motion between a video object and the HIP has not been studied. We propose that the force experienced by a user should vary according to the movement of a video object relative to the HIP, even though the content of the video shall not be altered by this interaction. To this effect, the acceleration of a video object is estimated using video motion estimation techniques, while the acceleration of the HIP is estimated from the HIP position data provided by the haptic device. We assign mass values to the object and the HIP such that the maximum force rendered will be in the range that can be displayed by the haptic device. Then, the dynamic force due to the relative motion is computed by using Newton?s second law and displayed to the user through the haptic device in addition to the static forces due to the geometry and texture of the object. Experimental results are provided to demonstrate haptic rendering of forces calculated with and without including dynamic forces.