A deep learning approach to surface reconstruction for surgical navigation during laparoscopic, endoscopic or robotic surgery

Abstract

En-az-girişimsel cerrahi yöntemler cerrahlara uyguladıkları operasyonlarda yüksek başarı sağlamalarına, olası riskleri azaltarak, onlara işlevsel araçlar kazandırma ve daha iyi bir perpektif sağlayan teknolojik imkanlar sunarlar. Cerrahlar en-az-girişimsel cerrahi operasyonlar sırasında (Laparoskopik, Endoskopik veya Robotik cerrahi) genellikle ekrandaki görüntülere ve kameralara bağlı çalışırlar. Ameliyathanelerde farklı görüntüleme kiplerinden gelen bilgi (görüntüler) kullanılır (Bilgisayarlı Tomografi, Manyetik Resonans gibi). Ancak, bu bilgiler kamera görüntüleriyle bütünleştirilmez ve bu bilginin çıkartılarak birleştirilmesi ancak cerrahın deneyim ve yetenekleriyle sınırlı kalır. Klasik kameralar, çokfaydalı olmakla birlikte, olayın her yönünü (mesela derinlik bilgisi) iletmekte yeterli olmazlar. Son yıllarda, steryokameralar ameliyathanelerde kullanıma sunulmuştur. Steryo endoskopik araçlar ve beraberindeki algoritmalarderinlik algılamasına yardımcı olurlar. Derinlik bilgisinin steryo kameralardan çıkarımını sağlayan yöntemler ('steryouyuşma' olarak bilinir) halen bilgisayar bilimleri alanında aktif bir araştırma alanıdır. 3 boyutlu ortamın sayısaloluşturulması için gerekli basamak derinlik bilgisidir. Bu bilgi, cerraha yardımcı olacak olan 'eklenmiş gerçeklik' ortamıoluşturmak için temel teşkil eder. Yapay Sinir Ağları (YSA) ve özellikle de Evrişimsel Sinir Ağları (ESA) son yıllardabilgisayarlı görü alanındaki araştırmalarda çığır açmıştır. Araştırmacıların YSA kullanarak çözmeye çalıştığı konularınarasında 'steryo uyuşma' da vardır. Steryo uyuşma konusunda ESA'nın değişik türleri oldukça iyi başarımgöstermiştir. Bu tez çalışması, derin sinir ağları ve bilgisayar benzetimleri kullanarak, hayvan organ dokularındanalınmış steryo görüntülerinde yüzey geri-çatım problemini hedeflemiştir.

Minimally invasive surgical procedures utilize technology to provide surgeons with more functionality as well as abetter perspective to help them succeed in their tasks and reduce operations risks. Surgeons usually rely on screensand cameras during minimally invasive surgeries such as Laparoscopic, Endoscopic, or Robotic Surgeries. Currently,operating rooms use information from different modalities such as Computer-Aided Tomography and MagneticResonance Imaging. However, the information is not integrated, and the task of extracting and combining featuresfalls under the surgeon's expertise. Conventional cameras, although very helpful, are not capable of transmittingevery aspect of the scene including depth perception. Recently stereo cameras are being introduced to operatingrooms. Utilizing stereo endoscopic equipment alongside algorithms to process the information can enable depthperception.The process of extracting depth information from stereo cameras, also known as Stereo Correspondence,is still an active research field in computer science. Understanding depth information from the view is a necessarystep for reconstruction of the scene in a 3D environment. Ultimately, this reconstructed environment acts as a basisto build an Augmented Reality with extra information baked into the scene to help the surgeon. Artificial NeuralNetworks (ANNs), specially Convolutional Neural Networks (CNNs), have revolutionized the computer vision researchin the past few years. One of the problems that researchers tried to solve using ANNs was Stereo Correspondence.There are variations of CNNs with excellent accuracy in Stereo Correspondence problem. This thesis aims to achievesurface reconstruction from in vitro stereo images of organs using Deep Neural Networks and in silico simulations.