An innovative and accurate deep learning based HER2 scoring method HER2-unet

Abstract

Günümüzde, meme kanseri, yaygınlaşan bir hastalık olarak incelenip, bilimsel çalışmalara sıklıkla konu olmaktadır. Meme dokularında, mutasyona uğramış HER2tümörlü hücreler, hücre çeperinde bulunan HER2 proteininin artışıyla tespit edilmektedir. Protein artışının görünür kılınıp patologlar tarafından değerlendirilebilmesi için,FISH (Fluorescent in Situ Hybridization) ve İmmuno Histo Kimya (İHK) tabanlıolmak üzere iki farklı boyama tekniği kullanılmaktadır. Bu tekniklerden, zaman vemaliyet açısından daha uygun olan ve ASCO / CAP 2013 önerilerine göre dört derecelibir skor ölçeği içeren İHK yaklaşımı, meme kanseri tedavi sürecinin belirlenmesindesıklıkla kullanılmaktadır.Aşırı ekspresyonun analizi İHK'sal olarak yapılmaktadır. İHK 3+ olarak değerlendirilenhastalarda, aşırı ekspresyonu vardır şeklinde bildirilir ve bu hastalara istisnaidurumlar haricinde Herceptin tedavisi uygulanır. Bu tedavinin uygulanabilmesi içinhastanın İHK'sal skoru 3+ ya da 2+ olmalıdır. Diğer skorlar (1+ ve 0) negatif olarakdeğerlendirilir ve hastanın HER2 ekspresyonu normaldir şeklinde değerlendirilir. 3+hastalarda Herceptin kullanılanbilir ancak, 2+ hastalar için kuşkulu yaklaşım sergilenirve İHK'sal teste ek olarak, FISH tekniği ile yeni bir analiz yapılarak, kuşkulu skordesteklenir ya da negatif olarak değerlendirilir.Çevresel membran hücre boyamasının tamamlanmamış olduğu durumlarda veboyama zayıf (soluk) olduğu durumlarda, tümör hücrelerinin %10'un üzerindeolduğu saptanırsa, İHK 2+ olarak değerlendirilir. İHK 2+ değerlendirmeye alınanbir diğer durum ise, çevresel membran boyanmasının yoğun ve tamamlanmışolduğu ancak, tümör hücrelerinin %10'un altında yoğunluk gösterdiği durumdur.Eğer çevresel membran boyanması tamamlanmamış veya boyamanın az çok farkedilebilir nitelikte olduğu tümör hücrelerinin yoğunluğu %10'un üzerinde ise İHK1+ olarak değerlendirilir. Çevresel membran boyanmasının tamamlanmamış olduğuya da boyanmanın olmadıgı ve tümör hücrelerinin yoğunluğunun %10'un altındaolduğu durumlarda ise, İHK 0 olarak değerlendirilir. İHK 1+ ve İHK 0 sonuçlarınegatif, İHK2+ kuşkulu ve İHK 3+ pozitif olarak sınıflandırılır . Önerdigimiz yöntemile İHK'sal olarak HER2 analizini otomatik gerçekleştirecek ve İHK'sal skorunubildirecek bir çalışma anlatılmaktadır.İHK ile boyanmış mikroskopik görüntülerin manuel HER2 değerlendirmesi boyanmaçeşitliliği, üst üste binmiş bölgeler ve homojen olmayan çok büyük slaytıngörülebilmesi sebebiyle hata yapmaya açık, zahmetli, gözlemciler arası değişken vezaman alıcı rutin laboratuvar işleri işerir. Bu sorunları gidermek için dijital patoloji,tüm slayt görüntüsünün analiz edilmesinde ve yorumlanmasında, tekrarlanabilir,otomatik ve objektif bir değerlendirme sunar. HER2 epitel doku tümörleri ileilişkili olduğundan ve meme tümörlerinin çoğu epitel dokudan kaynaklandığından,farklı doku yapılarını ayırmak için bir yaklaşım geliştirmek çok önemlidir. Bu tez çalışmasında, meme kanseri görüntülerinde HER2'nin İHK skorunu otomatik olarakdeğerlerlendirme yapmak için bilgisayar destekli tüm slayt bazlı derin öğrenmemetodunu tanıttık. Histopatoloji görüntülerinin yorumlanmasındaki subjektiflik vepatologlar arası uyuşmazlıklar nedeniyle, üzerinde anlaşılmış ve yinelenebilenmethodların belirlenmesi gerekmektedir. HER2 değerlendirmesindeki bir öncekimethodun aksine, bu araştırmada tüm slayt görüntülerinde, hücre zarının derinöğrenme temelli segmentasyonu kullanılarak HER2'nin sınıflandırılması gerçekleştirilir.Analiz sonuçları ağin membrane hücre boyanması ve sitoplazmik veya hatalıboyanma arasındaki farkı ayırt etmeyi başardığını gösterir. Test veri seti eğitim içinkullanılmadığından, dikkate değer yüksek doğruluk, modelin hücre zarlarını doğruşekilde bölümlere ayırmayı iyi bir şekilde öğrendiğini gösterir. Patch'ler temel alarakslaytları skorlayan ve sınıflandıran diğer derin öğrenme metodlarına karşın, tüm slaytgörüntülerini patologlar tarafından kabul edilen değerlendirme kılavuzlarını dikkatealarak değerlendirdik. Önerilen teknik üç adımdan oluşmuştur.Birinci aşama olarak, bütün slayt görüntüleri üzerindeki epitel ve stroma bölgelerinisınıflandırabilmek için süperpiksel tabanlı öznitelik öğrenme sınıflandırıcısı olanDestek Vektör Makinası (SVM) kullanılmışltır. Bu tezin ilk bölümünde, epitel veepitel olmayan (stroma) bölgelerini sınıflandırılmasında geleneksel makine öğrenmesialgoritması geliştirilmiştir. Sınıflandırmanın söz konusu olduvu problemin çözümüneyönelik algoritmalarda, SVM sıkça kullanılan bir makine öğrenmesi tekniğidir. Bütünslayt görüntülerindeki bölgelerin, ikili örüntü (LBP) ve renk histogramı gibi bazı dokuve renk öznitelikleri ekstrakt edilerek Destek Vektör Makinasına verilir. İlk olarak,görüntü analizinde temel ön işlem protokollerinin başında gelen normalizasyon işlemiuygulanır. Normalizasyon işleminin uygulanmasındaki amaç, kullanılacak olan heröznitelik türü arasındaki aralık farklılıklarının yarattığı yanlılıkları (bias) ortadankaldırmaktır. Görüntü elde edilirken kullanılan farklı tarayıcılar ve farklı boyamatekniklerinden kaynaklanan problemlerin önüne geçebilmek için piksel yoğunluğudağılımlarını standartlaştıran normalizasyon tekniği uygulanması gerekmektedir.Normalizasyon tekniği uygularken kullanılan histogram dağılım değerini, belirlemişolduğumuz spesifik bir referans görüntünün (Diaminobenzidin uygulaması ) mavive kahverengi kanallarının histogram değerlerine bakarak elde ettik. Denetlenensınıflandırıcıda, büyük slayt görüntülerindeki ilgili alanların (ROI'lerin) belirlenip,özelliklerine göre sınıflandırılıp etiketlendirilebilmesi için el yapıcı özniteliklerkullanılmıştır.Bu aşamadan sonraki işlemler, büyük slayt görüntülerindeki tüm pikseller yerine,artık belirlenmiş süperpiksellere uygulanmıştır. Anlamlı ve benzer bölgelerinkümeselleştirildiği (gereksiz kısımların arıtıldığı) süperpikseller üzerinden öznitelikçıkarmak performansı arttırmakla kalmamış, sonraki sınıflandırma aşaması içindeğişken sayısını azaltmıştır. SVM, sınıflandırıcısını oluşturmak için gerekenetiketlenmiş ve anote edilmiş veriler, konusunda uzman patalog tarafından teminedilmesi gerekmektedir. Patalog bu anotasyon işlemini gerçekleştirirken, İmmünohistokimyasal(İHK) bütün slayt görüntülerindeki karmaşıklığın önüne geçebilmesi içinetiketleme işlemini küçük, detaylı ve tanımlayıcı epitel ve stroma bölgeleri üzerindeyapması gerekmektedir.İkinci aşamada, epitel bölgeler üzerinde, Konvolüsyenel Sinir Ağları (KSA) tabanlısegmentasyon yöntemi membranöz bölgeleri bölütlemek için kullanılmıştır. KSAgenellikle sınıflandırma işlerinde kullanılır, fakat UNet mimarisi karmaşık yapılarısınıflandırmak ve bölümlere ayırmak için insan görsel algılama sistemi tarafındantanınabilir yerelleştirilmiş öznitelikler ekstrakt eder. Bu öznitelikler, UNet'in herpiksele etiket atamayı mümkün kılan alt örnekleme özelliği kullanılarak sağlanır.Biyomedikal uygulamalarda, karmaşıklık ve yüksek veri toplama maliyeti gibisebeplerden dolayı, dijital analiz ortamda insan gözüne yakın seviyede sonuçlarelde edilmeye çalışılırken problemler yaşanmaktadır. Makine öğrenmesi metotlarıyla,çok az sayıda eğitim örneği ile iyi sonuçlar elde edilerek bu zorlukların üstesindengelinebilir.Anote edilmiş eğitim görüntülerini eğitebilmek için Keras kütüphanesini kullandık.UNet mimarisi çok az sayıda eğitim görüntüsünde çalışabilir hale gelebilmek içindeğiştirilen ve genişletilen her evrişimin geçerli bölümünü kullanır. Mevcut ağıdesteklemek ve başarılı bir sonuç almak için, pooling öperatörü yöntemi yerineüstörnekleme yöntemi kullandı. Üstörnekleme yöntemi her bir girdinin çözünürlüğünüarttırmış oldu. Daha yerel ve kusursuz sonuç elde edebilmek için yüksek çözünürlüklüöznitelikler ekstrakt edildi. UNet mimarisi her bir kıvrımın sadece geçerli parçasınıkullanır. Tüm parça bölütleme haritasının piksellerini barındıran girdi resmindemevcuttur. UNet aşağı örnekleme (solda) ve üst örnekleme olarak bilinen geniş birpatika yolundan oluşur. İki adet 3 x 3 konvolüsyon devamlı olacak şekilde ve herbirinin ardından Rectified Linear Unit (ReLU) uygulanılacak şekilde kullanıldı. Ayrıcamimari, 2 birim kaydırmalı ve 2 x 2 maksimum pooling operatörü içermektedir. Heralt örnekleme adımında, kanallardaki öznitelik sayısıiki katına çıkar. Bunun sonucuolarak, her geniş haritadaki özellik haritasının bir örneklemesi 2 x 2'lik üst evriçimiçermektedir. İstenilen sayıda sınıfı bulabilmek için 1 x 1'lik tabakanın her 64bileşen özniteliği vektörünü son tabakada işlemesi gerekmektedir. Mimari toplamda23 konvolüsyenel tabakaya sahiptir. Sonuç olarak, bölünmüş fayanslar birleştirilir veher slaytın toplam puanı değerlendirilir. 50 slayt için elde edilen sonuçlar, el yapımıöznitelikler ve derin öğrenme öğretileriyle karşılaştırılır. Her bir fayansın ayrı olarakişlenmesinden sonra, tüm fayans sonuçları birliştirilip, genel bir skor elde edilir.Bölme işlemi esnasında, bazı hücre çekirdekleri kusurlu olan ve normalolan hücre çekirdeği diye ayıklanır. Bu ayıklanma sürecinde bazı zorluklarlakarşılaşılmıştır. Hücre çekirdekleri iki fayans bölgesinin arasında kaldığındaproblemlem oluşabilmektedir. Olabilecek bir yanlışlıktan kaçınmak için, küçükfayans bölgeleri köşe tarafları gözetilerek ekstrakt edilmiştir. Yataysal birleştirilmeyapılırken, sağdaki görüntüyü içeren fayans bölgesinin sol kısmının diğer fayansayakın olan parçasıile, soldaki görüntüyü içeren fayans bölgesinin sağ kısmının sağdakifayansa yakın olan bölgesi kombine edilmiştir. Buna benzer olarak, dikey birleştirmeaşamasında da, üst görüntüyü içeren fayans bölgesinin alt kısmı ile, alt görüntüyüiçeren fayans görüntüsünün üst kısmı birleştirilmiştir.Elde edilen deneyler, boyalı veriler içeren İHK görüntüleri üzerinde, önerilenalgoritmamızın ümit verici performans elde ettiğini göstermektedir. Geliştirmişolduğumuz yazılımımızın, diğer literatürde bulunan epitel bölgelerideki süperpikselbazlı sınıflandırma yöntemlerini içeren ve KSA kullanılarak yapılmış membranöz hücreboyamaların bölütlenmesinde kullanılmış diğer algoritmaları içeren yaklaşımlardandaha iyi performans gösterdiği gözlemlenmiştir.

Breast cancer is the second most common form of cancer among women in the USthat leads to death. The uncontrollable growth of cells in the breast tissue causesbreast cancer. Identification of biomarkers in tissues carry significant biologicalinformation. Evaluating the expression level in some biomarkers play an essentialrole in cancer diagnosis. Digital pathology proposes an appreciable way to prevailthe non-objectivity by analysing the biological images. Immunohistochemistry (IHC)analysis is a method for demonstrating the presence and location of proteins in tissuesections which introduce new demands on the reproducibility, accuracy, and specificityof the extracted information. The automated analysis in Whole Slide Image (WSI)has recently achieved considerable attention because of the accessibility of digitalslide scanners and the increasing importance of tissue-based biomarkers of stratifiedmedicine. Several biomarkers have been identified for breast cancer. Normally, HumanEpidermal Growth Factor Receptor 2 (HER2) proteins are responsible for divisionand growth of healthy breast cells. HER2 status is currently assessed using IHC aswell as In Situ Hybridization (ISH) in equivocal cases. Manual HER2 evaluation ofIHC stained microscopic images involves error-prone, tedious, inter-observer variable,and time-consuming routine lab work due to diverse staining, overlapped regions, andnon-homogeneous remarkable large slides. To address these issues, digital pathologyoffers reproducible, automatic, and objective analysis and interpretation of WSI.Since HER2 is associated with tumors of an epithelial region and most of the breasttumors originate in epithelial tissue, it is crucial to develop an approach to segmentdifferent tissue structures. The proposed technique has comprised of three steps. Inthe first step, a superpixel based Support Vector Machine (SVM) feature learningclassifier is proposed to classify epithelial and stromal regions from WSI. In thesecond stage, on epithelial regions, a Convolutional Neural Network (CNN) basedsegmentation method is applied to segment membrane regions. Finally, divided tilesare merged and the overall score of each slide is evaluated. Experimental resultsfor 50 slides are presented and compared with state-of-the-art handcraft and deeplearning approaches. The experiments demonstrate that the proposed method achievedpromising performance on IHC stained data. Our automated algorithm was shownto outperform other approaches in terms of superpixel based classifying of epithelialregions and segmentation of membrane staining using CNN.