Development of a framework for surgery robotics

Abstract

Robotik Ameliyat, ameliyatlarda robotların kullanımı demektir. Henüz yeni bir teknoloji olsa da hızla gelişmektedir. Robotların ameliyatlarda kullanılmasının en büyük avantajı robotların yüksek hassasiyetidir. Robotların minimal kesiklerle operasyon yapabilmesi, enfeksiyon riskini, kan kaybını, kesiklerden kaynaklanan acıyı, hastanın toparlanma süresini ve hastane masraflarını azaltır. Robotlar cerrahların çok küçük bölgelerde çok yüksek hassasiyetlerde operasyon yapmasına izin verir ve cerrahın yorulmadan uzun süre operasyon yapabilmesine olanak tanır. Robotik ameliyatlar model tabanlı ve model tabanlı olmayan olarak ikiye ayrılır.Model tabanlı robotik ameliyat, hastanın ameliyat öncesi çekilen MRI (Magnetic Resonance Imaging) yada CT (Computed Tomograpy) verisini kullanarak oluşturulan matematiksel modeli kullanır. Model çıkarma işlemi ameliyattan önce ön işlem olarak yapılır. Model tabanlı ameliyatlarda en önemli şey matematiksel modelin doğruluğu, hassaslığı ve hastanın koordinat uzayının model koordinat uzayı ile doğru birşekilde çakıştırılmasıdır.Model tabanlı olmayan ameliyatta, insan makine arayüzü anahtar rol oynamaktadır. Model olmamasından dolayı, cerrah operasyonu endoskop veya çoklu görüşlü kameralar yardımı ile yapmaktadır. Bazen modelleme yapabilmek için veri bulunmasına rağmen, büyük defarmosyanların modellenememesi ya da modelin kararlı olmamasından dolayı model kullanılamaz hale gelir. Model olmamasından dolayı, model tabanlı olmayan ameliyatta veri yakalamak ve sensör füzyonu önemli bir rol oynar. Bu yüzden, genellikle örüntü tanıma yöntemleri kullanılarak, yakalanan verilerden tanımlama modeli oluşturulmalıdır. Haptic aygıtlar ve kuvvet geri beslemesi, her iki metod da -hem model tabanlı hemde model tabanlı olmayan- operasyonun başarısı için önemli bir rol oynar.Ameliyat robotu tasarlamak, hem cerrah tarafındaki sistem hemde hasta tarafındaki sistem için çok karmaşık ve zor bir iştir. Yapılması gereken görevler, robotların, araçların ve robotlara bağlı olan manipulatörlerin denetimi, çarpışmalarının engellenmesi, birçok sensörden veri toplanması, toplanan verilerin filtrelenmesi, işlenmesi, sensör füzyonu amaçlı diğer sensörlerin beslenmesi,örüntü tanıma tekniklerinin uygulanmasıyla başlar. Ayrıca, FPGA ve DSP kartları ile haberleşme, endoskop ve çok görüşlü görüntüleme sistemlerinden veri yakalanması, çok görüşlü kameralar ile görüntü işleme tekniklerinin uygulanması, hastanın ve bilgisayar modelinin koordinat sistemlerinin gerçek zamanlı çakıştırılması, tıbbi görüntü verilerinin gösterilmesi ve analizi, cerrahın kullandığı kontrolcülerin sürülmesi, 3B görüş sisteminin kurulması, kuvvet geribeslemesi yapabilmek için matematiksel modelin oluşturulması, matematiksel modelin fizik kurallarına uygun olarak simulasyonunun yapılması, simulasyon sonuçlarının fotogerçekçi şekilde görselinin oluşturulması (rendering), haptic aygıtların sürülmesi, ağ iletişiminin yapılması ve büyük boyuttaki verilerin işlenmesidir.Tüm bu görevleri yapabilmek için bir tümleşik yazılım sistemi bulunmamaktadır. Bu nedenle bu tezde tüm bu görevleri yapacak tümleşik ve güçlü bir platform sıfırdan geliştirilmiş, DMPlatform olarak adlandırılmıştır. Bu tezde platformun mimarisi ve kullanılan teknikler anlatılmış ve platformla yapılan bazı uygulamalar sunulmuştur.

Robotic Surgery is the use of robots in the surgery. It is still a new technology and it is rapidly evolving. The main advantage of using robots in surgery is the high precision of the robots. Robots provide minimal invasions thus this helps patients to recover quicker, reduces the infection risks, reduces the pain and decreases the blood loss. They help surgeons to operate in smaller regions with higher sensitivity and to reduce the effort. Robotic surgery can be classified as model based and non-model based.Model based robotic surgery uses a mathematical model which is generated from patients by MRI (Magnetic resonance Imaging) or CT (Computed Tomography) before surgery. The modeling process is done as a pre-processing operation before the surgery. In model based surgery the most important thing is the accuracy of the mathematical model and the registration process. The registration process is the process which matches the model in computer space with the patient in real world.In non-model based surgery, the human machine interface plays a key role. Because of the non existence of a model, the surgeon navigates with the aid of the vision system typically by using a 3D stereo endoscopes or multi view Cameras. Sometimes the model cannot be created because of the large deformations or instability of the mathematical model thus the model becomes useless. Due to the lack of model in non-model based surgery, data acquisition and sensor fusion play an important role. Therefore, an identification model should be created from acquired data generally by using pattern recognition. On both methods - model or non-model based - force-feedback and the haptic devices play an important role in the success of the operation.Building a Surgery robotics system is a very complex and difficult task for both Surgeon Side Network and Patient side network. The tasks need to be handled are controlling and preventing collisions of the robots, tools and manipulators attached to the robots, acquiring data from various sensors by DAQ Systems, filtering and processing this acquired data, applying pattern recognition techniques, or feeding the acquired data to fuse the sensors. Besides, communicating with the FPGA, DSP boards, acquiring data from imaging devices such as endoscopes, image processing with multi view cameras and registration of the patient, displaying and analyzing the Medical Imaging Data, driving the controllers for surgeon, running a 3D vision system, creating a mathematical model for the force feed-back for the haptic devices, running physics processing for that model, rendering the processed results, driving the haptic devices, creating a network communication, and processing a huge amount of data and more.There is no framework for doing all these tasks. Therefore, throughout this thesis a powerful platform that can handle all of these tasks is created from the scratch and named DMPlatform. In this thesis the architecture of the platform is examined and some applications done with the platform is presented.