A head and eye tracking system for hands-free control of a robotic exoscope

Abstract

Eksoskop, mikro cerrahide kullanılan uzaktan kontrollü yüksek çözünürlüklü görüntü izleme sistemidir ve ameliyat mikroskobuna alternatif bir yöntem olarak önerilmiştir. Cerrahların operasyonu tamamlamalarına yardımcı olmak için, ekranda uygulama alanlarının büyütülmüş bir görüntüsünü yansıtır. Eksoskobun yararları, uygulama alanının geniş bir görüntüsünü sağlamak ve derinlemesine odaklanmasına yardımcı olmaktır. Ayrıca, sistem yeniden konumlandırma ve yeniden odaklama gereksinimini en aza indirir. Öte yandan, eksoskobun 2-boyutlu hareketli görüntülerin gösterilmesinde sınırlamaları da vardır. Ek olarak, cerrahi bir mikroskop veya eksoskop ile hızlı ve güvenli etkileşimler yapmak, mikro cerrahide uygulanan temel ilkelerden biridir ve eksoskop, yüksek hassasiyetli işler için, gelişmiş el ve göz koordinasyonu gerektirir. Yapılan çalışmalar, mevcut elle kavrama, ayak pedallı ve ağızla yönlendirmeli etkileşim tekniklerinin bu büyüteçlerle çalışmasının verimsizliğini ortaya koymuştur. Mikro cerrahide, mikroskop veya eksoskop kullanıldığında görüş alanının ayarlanması, sık sık istenmeyen gecikme ve kesintilerin oluşmasına neden olur. Sonuç olarak, bu tezde, bir eksoskop sisteminin, eller serbest özellikli olarak kontrol edilmesinin deneysel bir araştırmasını sunuyoruz. Kamera görüş açısının otomasyonu için, kafa hareketleri ve göz takip sistemine dayaklı bir robotik eksoskop geliştirdik. Görevin tamamlanma süresini ve hata sayısını hesapladık ve NASA görev yükü endeksini kullanarak kullanıcı iş yükünü inceledik. Sonuçlar, görevin tamamlanma zamanının, el bazlı etkileşim tekniğine kıyasla, eller serbest özellikli eksoskop için daha kısa olduğunu göstermektedir. Eller serbest özellikli cerrahi eksoskobun tasarımında, katılımcıların performans, çaba ve başarısızlık düzeylerinin yanı sıra zihinsel, fiziksel ve zamansal gereksinimle ilgili deneyimledikleri zorlukları da gösteriyoruz.

An exoscope is a high definition video teleoperated system for performing microsurgery and it has been proposed as an alternative method for the operating microscope. It provides a visualizing magnified image of application areas on a display helping the surgeons to complete the operation. The advantages of the exoscope are providing a wide field of view and deep focus of application area. Moreover, the system is minimizing the need for repositioning and refocusing. On the other hand, the exoscope has also limitations such as performing under 2D motion images. Additionally, conducting fast and safe interactions with a surgical microscope or exoscope are one of the basic principles applied in microsurgery and the exoscope requires improved hand and eye coordination for high precision work. Studies revealed inefficiencies of the current manual hand-grip, foot-pedal, and mouth-switch interaction techniques with these magnifiers. Adjusting the field of view is a frequent source of unwanted delay and interruption when using a microscope or exoscope in microsurgery. Consequently, in this thesis, we present an experimental investigation of hands-free control for an exoscope system. We report the development of a head and gaze-contingent robotic exoscope for camera viewpoint automation. We recorded empirical measures, namely task completion time and the number of errors, and examined the user workload using NASA task load index. The results show the task completion time is shorter for hands-free exoscope compared to hand-based interaction technique. We further show the challenges and difficulties related to mental, physical, and temporal demand as well as performance, effort, and frustration level of participants for the design of the hands-free surgical exoscope.