Compressed sensing based 3D image reconstruction in digital breast tomosynthesis and micro-bioimaging

Abstract

Meme kanseri, dünyada kadınlar arasında görülen en yaygın kanser türüdür. Kanserin erken teşhisi hastalığın tedavisinde çok önemli bir yer tutmaktadır. Erken teşhis araçlarından biri de görüntülemedir. Elektronik Mühendisliği açısından görüntüleme, görüntü geri çatma teknikleri ve görüntü işleme olarak ele alınmaktadır. Bu doktora tezinde, hızla gelişen görüntü geri çatma teknikleri ve görüntü işleme metotlarındaki yeni yaklaşımların kanserli hücre ve doku (örneğin meme kanseri) üzerine yapılan çalışma alanlarına uygulanması kapsamında iki ana proje çalışılmıştır. İlk proje olarak mevcut görüntü geri çatma algoritmalarının limitasyonları ve tıkanıklıkları göz önünde bulundurularak 12 radyasyon doz seviyesinde gerçek meme fantomu kullanılarak sayısal meme tomosentezinde (SMT) (digital breast tomosynthesis-DBT) sıkıştırılmış algılama tabanlı 3-boyutlu (3B) görüntü geri çatma yöntemleri geliştirilmiş ve önerilmiştir. İkinci proje kapsamında mikro biyogörüntülemede (micro-bioimaging) kanserli hücre kolonisi, tümör, kanserli doku, biyopsi, lab-on-a-chip gibi çeşitli biyolojik örnekleri açısal tarama yaparak 3B görüntüleyebilen 3B biyogörüntüleme cihazı (robotic 3D micro-bioimaging tool) geliştirilmiştir. Hastalık tanı ve teşhisinde medikal görüntüleme önemli bir teknolojidir. Yapısal ve fonksiyonel görüntüleme olarak adlandırılan ve farklı amaçlar için kullanılan iki ana medikal görüntüleme sınıfı mevcuttur. Yapısal görüntüleme ile anatomik yapılar incelenir. Manyetik rezonans görüntüleme (MRG), Röntgen ve bilgisayarlı tomografi (BT) yapısal görüntüleme tekniklerinin en önemlileridir. Fonksiyonel görüntüleme ise insan vücudundaki özel bir fonksiyonu analiz eden bir tekniktir. En önemlileri Single Photon Emission Computed Tomography (SPECT) ve Positron Emission Tomography (PET)'dir.Tomografi Yunan kökenli `tomos` (dilim) ve `graph` (tanımlama) kelimelerinin birleşiminden oluşmuştur. İngiliz mühendis Godfrey Hounsfield ve Güney Afrika doğumlu fizikçi Allan Cormack tarafından 1972 yılında geliştirilmiştir. Bu sebeple Hounsfield ve Cormack 1979 yılında Nobel Tıp Ödülü'ne layık görülmüşlerdir. Bilgisayarlı tomografi (BT), vücut içine girmeksizin vücut içini görüntülemek suretiyle çeşitli hastalıkların tanı ve teşhisinde kullanılmasıyla tıpta devrim yaratmıştır. Radyografinin bir formu olan BT günümüzde çok yaygın bir medikal görüntüleme uygulamasıdır. X-ışın kaynağının bir eksen etrafında döndürülmesiyle toplanan 2-boyutlu (2B) radyografik görüntülerden nesnenin 3B görüntüsü elde edilebilmektedir.Ulusal Meme Kanseri Vakfının (NBCF: National Breast Cancer Foundation, Inc.,) 2010 yılında yapmış olduğu araştırmaya göre her yıl kadınlar arasında 200.000 yeni meme kanseri vakası ve 40.000 ölüm yaşanmaktadır. Türkiye'de Sağlık Bakanlığının 2008 verilerine göre meme kanseri %41.6 oranıyla kadınlar arasında en sık görülen hastalık olmuştur. Bunu %15.3 ile tiroid, %13.5 ile kolorektal, %8.7 ile uterus korpusu, %8.4 ile trakea, akciğer ve bronş, %8 ile mide, %6.5 ile over, %4.7 ile non-hodgking lenfoma, %4.4 ile uterus serviksi, %4.2 ile beyin ve diğer sinir sistemi kanserleri takip etmektedir. Kadın meme dokusu süt üretme bezleri (lobules), süt taşıma kanalları (ducts) ve bağ dokusu (stroma) olmak üzere üç ana kısımdan meydana gelir. Bağ dokusu kan damarları, lenfatik damarlar ve yağ dokusunu çevreler. Bazı kanserler süt üretme bezlerinden başlarken (lobular cancers), çoğunluğu süt taşıma kanallarında (ductal cancers) meydana gelir.Mamografi yönteminin, birçok avantajlarının yanında tanı görüntülemesinde yaklaşık %20 oranında kanserli hücreyi kaçırdığı tahmin edilmektedir. 2B görüntülemeden kaynaklı dokunun üst üste binme problemi mamografinin en büyük kısıtlarındandır. Sayısal meme tomosentezi (SMT) ise yüksek çözünürlüklü 3B görüntü elde etme imkânı sunan yeni görüntüleme yaklaşımıdır. Bu sayede SMT ile geleneksel mamografide karşılaşılan dokunun üst üste binme problemi nedeniyle dokular arasına gizlenen kanserli hücreler daha kolay algılanabilmektedir.SMT'de plakalarla sıkıştırılan meme etrafında bir yay şeklinde ve genellikle 50 derecelik tarama açısı ile hareket eden X-ışın tüpünden gönderilen radyasyon meme altındaki detektöre düşürülerek memenin 2B projeksiyonları elde edilir. Uygulamalarda yaygın olarak SMT'de 11-60 derece tarama açısı ile 9-25 arasında projeksiyon elde edilir. Bu projeksiyonlar daha sonra çeşitli görüntü geri çatma yöntemleriyle geri çatılarak dilim dilim 3B geri çatılmış meme görüntüsü elde edilir. Böylece doku üst üste binmesi problemi nedeniyle meydana gelen yanlış pozitif ve yanlış negatif oranları azaltılabilir. SMT'nin radyasyon nedeniyle sınırlı açıda ve sınırlı sayıda tarama yapması ise dezavantajdır.SMT Y=AX lineer cebirsel denklem formu ile yazılabilen hedef nesnenin (X) 3B geri çatılmış görüntüsünü elde eden yenilikçi bir görüntüleme modelidir. Y=AX formunda Y gözlenen veri (projeksiyon) vektörü, A ışın izleme geometrisini modelleyen sistem matrisi, X ise 3B görüntülenmesi istenen nesnenin vektör formunu göstermektedir. Lineer denklem katsayılarını içeren A sistem matrisi yinelemeli geri çatma algoritmasının uygulanması için elde edilmelidir. Geri çatılan 3B görüntü, sınırlı açıda ve sınırlı sayıda taramayla elde edilen 2B projeksiyonlardan elde edildiğinden eksik veri problemi olarak adlandırılan önemli bir kısıt ortaya çıkmaktadır. Bu kısıtı aşmak için ileri düzey 3B görüntü geri çatma algoritmalarının geliştirilmesine ihtiyaç duyulmaktadır.Literatürde bir yinelemeli yöntem olan cebirsel geri çatma tekniğinin (algebraic reconstruction technique (ART)) ve bir analitik yöntem olan filtrelenmiş geri izdüşüm tekniğinin (filtered back projection (FBP)) SMT gibi ileri tıp teknolojisinde uygulandığından bahsedilmektedir. Bu doktora tezinde ART ile 3B görüntü geri çatılmıştır. ART algoritmasında, Y=AX formundaki, ışın izleme geometrisini modelleyen sistem matrisini (A) elde etmek için Siddon'un 3B ışın izleme algoritması kullanılmıştır. ART ile elde edilmiş geri çatılmış 3B görüntünün kalitesini arttırmak için sıkıştırılmış algılama tabanlı bir uygulama olan (compressed sensing based application) 3B toplam değişinti algoritması TV3D (3-dimensional total variation) ART sonrası elde edilen geri çatılmış 3B görüntüye uygulanmıştır.İlk projede iki ayrı alt çalışma yapılmıştır. İlk olarak 3B toplam değişinti temelli maksimizasyon-minimizasyon algoritması (majorization-minimization (MM) based on 3D total variation) yinelemeli görüntü geri çatma literatüründe yenilikçi bir yaklaşım olarak sunulmuştur (ART+TV3D+MM). İkinci olarak ART, ART+TV3D ve ART+TV3D+MM yöntemleri ile elde edilen geri çatılmış görüntüler 12 farklı radyasyon dozu için elde edilerek, sıkıştırılmış algılama tabanlı yinelemeli görüntü geri çatma teknikleri olan ART+TV3D algoritmasının ve bizim önerdiğimiz yeni ART+TV3D+MM yönteminin hastaya uygulanan radyasyon dozunun azaltılabilmesi noktasında uygulanabilirliği araştırılmıştır. İlk proje kapsamında, Lizbon Üniversitesi da Luz S.A. hastanesinde Siemens MAMMOMAT Inspiration system (Siemens AG, Healthcare Sector, Erlangen, Germany) kullanılarak 12 farklı doz seviyesinde yaklaşık 47o açısal tarama aralığında 25 projeksiyonu alınan gerçek meme fantomu (CD Pasmam 1054) için ART, ART+TV3D ve ART+TV3D+MM uygulanarak 3B görüntüler elde edilmiş ve aynı fantomun Siemens MAMMOMAT cihazının filtrelenmiş geri izdüşüm tekniğiyle (FBP) elde edilen geri çatılmış görüntüleri ile kıyaslanmıştır. Siemens MAMMOMAT cihazında know-how'ı bilinmeyen bir filtreleme yöntemine sahip FBP kullanılmaktadır.Sonuçların performansını karşılaştırmak amacıyla önce yinelemeli görüntü geri çatma tekniği olan (iterative reconstruction technique: IRT) ART, ART+TV3D ve ART+TV3D+MM bir analitik fantom için test edilmiştir. Sonuçlar niteliksel ve niceliksel olarak değerlendirilmiştir. Niceliksel değerlendirmede iki metrik olan sinyal-gürültü oranı (signal-to-noise ratio: SNR) ve yapısal benzerlik (structural similarity: SSIM) kullanılmıştır. Daha sonra, 12 dozda alınan CD Pasmam 1054 gerçek meme fantomu projeksiyonları için yinelemeli görüntü geri çatma tekniğinin üç yöntemi (ART, ART+TV3D ve ART+TV3D+MM) kullanılarak elde edilen geri çatılmış görüntüler ile Siemens MAMMOMAT cihazının filtrelenmiş geri izdüşüm tekniğiyle (FBP) elde edilen geri çatılmış görüntüler kıyaslanmıştır. Bu kısımdaki sonuçlar ise hem niteliksel hem de karşıtlık gürültü oranı (contrast to noise ratio (CNR) ve 1B profil değişimi metrikleriyle niceliksel olarak değerlendirilmiştir. İlk proje İstanbul Teknik Üniversitesi ve Lizbon Üniversitesi'nde gerçekleştirilmiştir. İkinci projede, SMT'deki çalışmalardan elde ettiğimiz umut verici sonuçların verdiği ilhamla kanserli hücre kolonisi, tümör, kanserli doku, biyopsi, lab-on-a-chip gibi çeşitli biyolojik örnekleri 3B görüntüleyebilen robotik 3B biyogörüntüleme cihazı (robotic 3D micro-bioimaging tool) geliştirilmiştir. Tıp ve biyoloji alanlarında bilimsel araştırma yapılan merkezlerde kullanılabilecek olan cihazın avantajları arasında, ucuz, taşınabilir ve kullanımı kolay olması sıralanabilir. Bu cihaz donanım (mekanik, elektronik ve robotik kontrol kısımları) ve yazılım (robotik kontrol yazılımı ve 3B görüntü geri çatma yazılımı) olmak üzere iki aşamalı tasarlanmıştır.Donanımsal olarak robotik 3B biyogörüntüleme cihazının ana mekanik çatkısı, dönme eksenine yeterli güç ve desteği sağlamak için 20 mm'lik T-oluklu eloksallı alüminyumdan 35cmx35cmx30cm boyutlarında üretilmiştir. Hassas hareket ve ölçümler için bazı parçalar 3B yazıcı ile üretilirken, bazıları ise polymethylmethacrylate (PMMA) malzeme kullanılarak CNC makine ve lazer kesici ile üretilmiştir. Elektronik ve robotik kontrol kısmı, bir Arduino Mega 2560 R3 kartı, bir RAMPS 1.4 kartı, Arduino yazılımla kontrol edilen iki adım motoru, bir lineer motor, üç motor sürücü ve bir güç kaynağından meydana gelmiştir. Optik görüntüleme kısmı ise bir metal oksit yarı iletken dedektör (complementary metal oxide semiconductor (CMOS) görüntüleyici, bir lens ve bir ışık kaynağından meydana gelmiştir. CMOS görüntüleyici dedektör olarak Logitech C160 kullanılmıştır. Optik görüntülemede hassas optik masa tasarımı sayesinde projeksiyon elde etme geometrisi ve görüntüleme kalitesi iyileştirilmiştir. -45o ve +45o açı aralığında tarama yapabilme yeteneğine sahip cihaz ile bu projede -25o ve +25o açı aralığında 5o açı adımıyla 11 projeksiyon elde edilmiş ve geri çatılmıştır. Yazılımsal olarak ise açısal tarama ve üç boyutlu düzlemde eksen hareketlerini yapan robotik motor kontrollerin mikrokontrolör programlanması C++ kod derleyici ve Matlab grafiksel kullanıcı arayüzü ile yazılmıştır. 3B görüntüleme için ise sıkıştırılmış algılama tabanlı yinelemeli 3B görüntü geri çatma yazılımı (ART+TV3D) mikro-biyogörüntüleme (micro-bioimaging (MBI)) araştırmalarında kullanılmak üzere revize edilerek geliştirilmiştir.Testlerde kullanılan biyolojik fantomlar transparan ortam sağlayan polydimethylsiloxane (PDMS) kullanılarak üretilmiştir. İkinci proje Harvard Medical School, Harvard-MIT Health Science and Technology ve Massachusetts Institute of Technology'de gerçekleştirilmiştir.Sonuç olarak, ilk projenin ilk kısmında ART+TV3D+MM yönteminde analitik fantom için elde edilen sonuçların SSIM ve SNR değerleri on iterasyon sonunda ART+TV3D ve ART yöntemleriyle elde edilen aynı değerlerden yüksek çıkmıştır. Onuncu iterasyonda ART+TV3D+MM'in SSIM ve SNR değerleri sırasıyla 0.9814 ve 24.56 olurken, ART+TV3D'in 0.9771 ve 24.32; ART'in ise 0.9208 ve 22.48 olmuştur. Ayrıca ROI ve object of interest (OOI)'ler FBP ve ART'ye göre ART+TV3D ve ART+TV3D+MM yöntemlerinde görsel olarak daha net bir şekilde ayırt edilebilmiştir. İlk projenin ikinci kısmında, 12 farklı doz seviyesi için ART+TV3D ile elde edilen görüntülerde CNR değerleri hem doz arttıkça artmış, hem de aynı doz seviyesindeki ART'nin CNR değerlerinden genel olarak yüksek çıkmıştır. Örneğin en yüksek doz seviyesi olan 199 mAs doz seviyesinde, ROI-1 için FBP, ART, ART+TV3D ve ART+TV3D+MM'in CNR değerleri sırasıyla 1.203, 54.621, 55.894 ve 56.443 olurken; ROI-2 için yine sırasıyla 2.188, 2.292, 2.364 ve 2.473 olmuştur. İkinci projede ise tasarlanan robotik 3B biyogörüntüleme cihazıyla laboratuvar ortamında üretilen biyolojik fantomların projeksiyonları değişik açılardan başarıyla alınmıştır. ART+TV3D yöntemiyle, bu projeksiyonlar 3B görüntü şeklinde geri çatılmış ve bu biyolojik fantomlar başarılı bir şekilde dilim dilim görüntülenebilmiştir.İki projede de alınan olumlu sonuçların gerek yinelemeli 3B görüntü geri çatmada yeni yaklaşımların araştırılması ve geliştirilmesi noktasında; gerekse tasarlanan robotik 3B biyogörüntüleme cihazının bilimsel araştırma laboratuvarlarında, kanserli hücre ve doku çalışmaları ile bunlara karşı ilaç vb. geliştirmek için yapılan tıbbi ve biyolojik araştırmalarda kullanılan çeşitli biyolojik numunelerin 3B görüntülenmesinin geliştirilmesi noktasında gelecekteki çalışmalara ışık tutacağı düşünülmektedir.

Breast cancer is the most commonly seen cancer type among women. Early diagnosis of breast cancer is considered as the best strategy to increase the lifetime and to reduce the mortality rate, treatment duration, and the cost. In the last two decades, mammography has been the most efficient and effective tool for early diagnosis of breast cancer. However, 2-dimensional (2D) mammography increases the false-positive and false-negative rates due to the limitation of overlapping tissues. Tomosynthesis has been introduced to reduce these limitations with its ability to provide (3-dimensional) 3D images of the breast. Recently, tomosynthesis has been actively in use clinically with a possible replacement of mammography in the near future. In literature, there have been numerous studies published on digital breast tomosynthesis (DBT). DBT is a linear imaging modality which can be expressed as Y=AX in linear algebraic equation form that is a linear combination of the voxels which build up X. In Y=AX form, Y is the observed data or projection in vector form, A is the system matrix that models ray tracing geometry in matrix form, and X is the object that is desired to be reconstructed in vector form. The coefficients of the linear equations must be computed before any iterative reconstruction algorithm is applied. To implement algebraic reconstruction technique (ART), one of iterative reconstruction technique (IRT) or any IRT, Siddon's 3D ray tracing algorithm can be used to build up the matrix A in 3D image reconstruction. The reconstruction methods used in DBT can be split into analytical and iterative techniques. Filtered back projection (FBP) which is an analytical and a conventional tomographic reconstruction technique shows inefficient results due to the lack of a number of projections though it is computationally very efficient. IRTs have been proposed in order to overcome this problem. In addition to the IRTs, regularization terms have been proposed in order to achieve the unique solution due to the highly under-determined problem in DBT reconstruction arose from limited view angle imaging geometry. Total variation (TV) has been the most commonly used term among these regularizations. Compressed sensing based application, TV3D (3-dimensional total variation), is applied to ART (ART+TV3D) to enhance the quality of the reconstructed image.In this Ph.D. thesis, as the first project, we proposed an effective application of majorization-minimization (MM) based on 3D TV, called ART+TV3D+MM (compressed sensing based application) in iterative image reconstruction of DBT, and the effectiveness of the work has been shown using an analytical phantom and a real DBT images obtained at 12 different doses by Siemens MAMMOMAT.Using a Siemens MAMMOMAT Inspiration system (Siemens AG, Healthcare Sector, Erlangen, Germany), we acquired 25 projections of the real breast phantom, CD Pasmam 1054 phantom (Southern Scientific Ltd, West Sussex, United Kingdom) at Hospital da Luz S.A., Lisbon, Portugal. The equipment acquired the projections with short X-ray pulses at angles of the range of 47o with 28 kVp at 12 different levels of radiation doses in mAs.We reconstructed the images of the analytical phantom with three iterative reconstruction methods: ART, ART+TV3D, and ART+TV3D+MM and compared the results both qualitatively and quantitatively. We then reconstructed the images of the real breast phantom with ART, ART+TV3D, and ART+TV3D+MM (IRT methods) and compared the results of the IRT methods with the results of MAMMOMAT's FBP method both qualitatively and quantitatively as well. Siemens MAMMOMAT reconstructs via its know-how unknown filtered back projection (FBP) method. We further aimed to investigate if compressed sensing based methods, ART+TV3D and ART+TV3D+MM, could help decrease the radiation dose which is one of the most critical limitations of DBT. We evaluated the performance of the methods for each experiment and phantom using visual assessment and quantitative metrics such as signal to noise ratio (SNR), structural similarity (SSIM), CNR (contrast to noise ratio), and 1-dimensional (1D) profiles. The visual interpretation was done by focusing on the different object of interests (OOIs) and region of interests (ROIs).The first project of the Ph.D. thesis was performed at both Istanbul Technical University and Lisbon University.3D imaging of the biological structures such as bioreactors, lab-on-a-chips (LOCs), cancer tissues, organoids, and spheroids is desired in many applications of the biomedical field such as bioimaging. However, in general, 2D microscopy techniques are used in bioimaging. Confocal microscopy, a promising method to produce 3D images, suffers from being very expensive, very difficult to access, and not easy to use. Having the intense experience of 3D image reconstruction in DBT has inspired us for creating a robotic 3D micro-bioimaging (MBI) tool. For this purpose, which is the second project of this Ph.D. thesis, we developed the software algorithms for 3D image reconstruction and created a hardware, robotic 3D MBI tool, which is portable, cost-effective, and easy to use. We also manufactured several biological phantoms using polydimethylsiloxane (PDMS) as a transparent media to test the 3D image reconstruction performance of the tool.The imaging and scanning tool for MBI had mainly three parts as modeling DBT: a complementary metal oxide semiconductor (CMOS) detector with a lens, a light source (can be a light emitted diode (LED)), and a holder or mini table for the biological sample. As CMOS image detector, Logitech C160 CMOS was used. Before creating the robotic 3D MBI tool, the manual imaging and scanning tool was built using PMMA (polymethylmethacrylate) by a laser cutter. It was able to manually rotated between maximum -45o and +45o with 5o angle steps, which means it was able to acquire maximum 19 projections in an examination. After getting promising results via manual scanning imaging tool, we designed a robotic imaging and scanning tool (robotic 3D MBI tool) controlled automatically. The mechanical part of the robotic 3D MBI tool was built from scratch according to the specifications that were needed for a smooth and precise image acquisition. The chassis of the structure was built from 20mm T-slotted black anodized aluminum, which provided enough support for the rotating axis. The T-slots were joint using aluminum corner brackets to ensure the integrity of the chassis and to have versatility in case the structure had to be changed. The design was based on a mix between a computer numerical control (CNC) machine and a 3D printer. The size of the robotic 3D MBI tool was 35cmx35cmx30cm. It was able to manually rotated between maximum -45o and +45o with 5o angle steps, which means it was able to acquire maximum 19 projections in an examination in a similar manner as the manual one.The electronics part of the robotic 3D MBI tool was done by Arduino board/software and motor controls. It comprised of one CMOS imager, one lens, one Arduino Mega 2560 R3 board, one RAMPS 1.4 board, three motor drivers, one light source, two stepper motors, one linear motor, and one power supply. We also designed a more advanced optical imaging setup using a combination of optical table and tools compared to that of manual scanning tool. The microcontroller programming of motor control was done using both a C++ code compiler and Matlab™ Graphical User Interface (GUI).Whereby this tool, we improved the precision of the geometry and the resolution quality of the acquired projections. We also reconstructed 3D images of the projections acquired via robotic 3D MBI tool using ART+TV3D that we developed and suggested to investigate if the layers of a biological phantom and/or a biological sample such as bioreactor fabricated by PDMS could be distinguished.This second project of the Ph.D. thesis was performed at Harvard Medical School and Harvard-MIT Health Science and Technology, Massachusetts Institute of Technology, MA, USA.The ultimate goal of this research for MBI by developing advanced robotic 3D MBI tool will be to investigate how morphology differentiation and proliferation of the tumor is attained by the cells after putting in the hydrogel and to visualize the 3D images of the tumor slice by slice. We will study the changes that happen on a morphological level after the interaction of the tumor tissue with drugs inside a gel by 3D imaging layer by layer as well.