Scoring of CERbB2 tumors in breast cancer by pathological image analysis

Abstract

Günümüzde, meme kanseri, yaygınlaşan bir hastalık olarak bilinmekte olup, bilimsel çalışmalara da sıklıkla konu olmaktadır. Yaygınlaşan bu kanser türünde, özellikle tedavi sürecinde başarıyı arttırmaya yönelik olarak disiplinler arası birçok çalışma ortaya çıkmıştır. Bu amaç doğrultusunda da, hedefe yönelik tedavi (targeted therapy/treatment) yaklaşımları son yıllarda yaygınlaşmaktadır. Hedefe yönelik tedavi amacıyla epidermal büyüme reseptörü (EGFR) ailesine ait bir protein olan CerbB2 reseptörünün yoğunluk dağılımı incelenmektedir. Bu dağılıma göre hastalığın aşamaları belirli sınıflara ayrılmaktadır. Sınıflandırmalar dört ana Score türüne göre yapılmaktadır. Bu çalışmada da ilgili tümör bölgelerinin tespiti ve Skor sınıflandırılması disiplinler arası bir yaklaşımla patolojik görüntüler üzerinden yapılmıştır. Tüm slayt doku örneği görüntüleri, hastaneden alınarak patologların gözetimi altında incelenmiş ve slaytın doğru etiketlenmesi için, ilgili bölgelerin nasıl tespit edileceği öğrenilmiştir. Görüntülerin analizinden sonra, gerçek zamanlı bir yazılım aracının uygulanması amaçlanmıştır. Hedeflenen bu uygulama sayesinde de hasta için daha hızlı ve daha ucuz bir şekilde patolojik rapor oluşturulması öngörülmektedir. Bu amaç doğrultusunda, görüntüler üç yaklaşımla analiz edilmiştir.Çalışmanın ilk aşamalarında, doku örnekleri üzerinden Destek Vektör Makineleri (DVM) ile eğitilmek üzere uygun veri kümesi oluşturulmuştur. Öncelikle, hibrid bir çok seviyeli eşikleme ve radyal çizgi tabanlı bir yaklaşımla hücrelerin algılanması yöntemi geliştirilmiştir. İkinci olarak, bir Çeper Yoğunluk Histogramı (ÇYH) metodu ile her bir hücreye özgü öznitelikler oluşturulmuştur. Daha sonra, bu öznitelikler DVM sınıflandırıcısını beslemek için kullanılmıştır. Elde edilen sınıflandırıcı model ile 'Amerikan Klinik Onkoloji Derneği ve Amerikan Patologları Universiteleri' tarafından belirlenen kurala göre skor tipleri belirlenmiştir.Bu çalışmanın ikinci aşamasında, hücre temelli bir derin öğrenme yaklaşımı ele alınmıştır. Çalışma, CerbB2 tümörlerini, meme kanserine ait doku parçaları üzerinden, derin öğrenme modelleri ile sınıflandırmak için özgün bir yaklaşım önermektedir. Bu amaçla, tüm slayt görüntüleri, doku parçalarına bölünüp ve skor türlerine göre etiketlenmiştir. Daha sonra bu veri seti, derin öğrenme modelleri ile eğitim, doğrulama ve test için kullanılmıştır. Hücre parçaları için CerbB2 tümör skorları üretilmiş ve Evrişimsel Sinir Ağları (ESA) yardımıyla yüksek performansla sınıflandırılmıştır. Bu sınıflandırma yaklaşımı sırasında, daha iyi performans elde etmek için modeller değiştirilmiş ve modeller üzerindende hücre gruplarının öznitelikleri çıkartılarak DVM sınıflandırıcısı ile eğtilmiştir. Elde edilen sonuçlar manuel öznitelik çıkarımı ile elde edilenlerle kıyaslanmıştır.Bu çalışmanın son aşamasında ise bölgesel tabanlı derin öğrenme modelleri kullanılarak tüm slayt görüntüsü üzerinden CerbB2 reseptörüne ait skor tespiti yapılmıştır. Derin öğrenme yöntemi ile eğitim için patolojik görüntülerden oluşan hazır bir veri seti olmadığından orijinal veri kümesi hazırlanmıştır. Herbir slayt görüntüsü işlenemeyecek boyutta büyük olduğu için de patolojik resimler yeniden boyutlandırılmış ve tümörlerin bulunduğu koordinatlar optimize edilere etiketlenmiş. Daha sonra bu veri kümesi uygun kütüphane kullanımı ile Yolo gibi bölgesel yaklaşımlı evrişimsel sinir ağlarıyla eğitilmiştir. Eğitimler sonunda elde edilen modeller ile önceki çalışmalardan farklı olarak tüm doku örneği üzerinden, skor tespiti yapılmıştır. İkinci bir basamak olarak, var olan görüntü kümesinin rotasyon değişimiyle sayıca arttırılan veri kümesi, derin öğrenme modeli kullanımıyla yeniden eğitim yapılmıştır. Son olarak, tüm slayt görüntüsünden orjinal çözünürlükte yeni bir veri kümesi oluşturulup yine derin öğrenme modelleriyle eğitilip model oluşturuluyor. Daha sonra bu model, birden fazla skor tipiyle etiketlenmiş skoru belirsiz bölgeler için kullanılmaktadır. Yeniden boyutlandırılmış tüm slayt görüntüsü üzerinden tespit edilen tümör bölgeleri, tüm slayttan ayrılıp orjinal boyutunda yeniden ölçeklendirilerek, elde edilen son model ile test ediliyor. Böylelikle, yeni ağırlık modelleri ile, ilgili skor bölgeleri detaylı olarak analiz edilip, kurallar dahilinde nihai skor sınıfı ile belirlenebiliyor. Çalışmanın sonunda pataloglar tarafından, hastalardan alınan doku örneklerine konulan teşhislerin sürelerinin kısaltılması için ele alınan bu yöntemlerin uygun kullanımıyla bir yazılım uygulaması geliştirilmesi hedeflenmektedir. Böylelikle meme kanserinde doğru tedavi için patolojik görüntüler üzerinden, ilgili tümör bölgelerinin tespitinin, önerilen makine öğrenmesi yöntemleri ile hızlı ve doğru bir şekilde basit bilgisayar programları ile geliştirilebileceği düşünülmektedir. Gerçek hayatta uygulamaya yönelik bu katkı dışında bu çalışmanın diğer katkıları şöyle sıralanabilir: teknik olarak gelecek çalışmalara katkı sağlamak adına özgün dataset üretilerek paylaşılmaktadır, tüm bir slayt görüntüsünün gerek parçalara bölünerek sınıflandırma yöntemi ile gerek parçalara bölünmeden ilgili tümör bölgelerinin tespiti yaklaşımıyla yenilikçi bir çalışma ele alınmıştır. Çalışmanın ilk iki basamağında doku parçaları üzerinden görüntüler işlenirken son basamağında nasıl tüm slayt üzerinden skor tespiti yapıldığı detaylandırılmaktadır.

Nowadays, breast cancer is being investigated as a widespread disease and it is frequently a subject for scientific studies. Many types of interdisciplinary studies emerge concerning breast cancer, particularly about the treatment processes. For treatment purpose, targeted therapy/treatment approaches have become widespread in recent years. In the light of targeted therapy, the distribution of CerbB2 which is a protein of the Epidermal Growth Factor Receptor (EGFR) family, is examined. According to the distribution of CerbB2, the stage of the disease is classified. Score types of CerbB2 are proposed to be classified into four main classes. In this regard, this study analyzes CerbB2 score types by detection and classification methods, which are developed to diagnose the related tumor regions on the pathological images by interdisciplinary approaches. For diagnosis, firstly, whole slide tissue images were obtained from the hospital and analyzed under the supervision of pathologists. After the analysis of the images, the implementation of a real-time software tool is intended. Using this targeted tool, it is foreseen that pathological report for a patient can be formed faster and cheaper. To diagnose the phase of breast cancer, the images are analyzed in three different approaches. In the first approach, specific features of the cells are extracted from tissue specimens to be trained in the Support Vector Machine (SVM). For starters, a hybrid multi-level thresholding and radial line based cell detection method is applied. Following, a Membrane Intensity Histogram (MIH) method is used to feature extraction for each cell on tissue specimens. Then, these cell features are used to fed SVM classifier. These MIH based features are categorized into four separate score classes, namely, Score 0, Score 1, Score 2 and Score 3. These scores are classified based on the rule which is set by American Society of Clinical Oncology and the College of American Pathologists.In the second approach, a cell basis deep learning methods are used. By using deep learning models, the study proposes a unique approach to classify CerbB2 scores over tissue patches that has breast cancer. For this purpose, Whole Slide Images (WSI) are divided into tissue patches and labeled based on the score types. Then the data set is used for training, validating and testing with deep learning models. CerbB2 tumor scores are generated for cell fragments that are classified with high accuracy by the aid of convolutional neural networks (CNNs). During this classification, unlike traditional methods, CNN models are modified to get better performance. Cell based features are also extracted from these CNN models to be performed on SVM. Following these, the results obtained with deep learning models are compared with handcrafted cell-based feature extraction method.In the last approach, CerbB2 Scores are detected on WSI directly by using deep learning models. Since there isn't a previously published pathological dataset, a genuine dataset is prepared. The whole slide images are resized because WSI's are so large to be processed. The coordinates of Region of Interests (ROI) on WSI's are kept as optimized labels. Then the dataset is used in training phase of detection with Region Based Convolutional Neural Networks like Yolo using proper libraries. After the training phase, obtained models are used to diagnose score types on WSI's without any division of tissue specimens as in previous works. Also, the existing set of images are retrained using deep learning models with the augmented dataset by bilinear image rotation. Finally, the WSI's with original resolution is split to form the third pathological dataset. Then, by using this dataset, a third detector model is obtained for better analysis of the score type on the resized region of WSI. In this way, multiple labeled regions can be re-examined by this third model.At the end of the study, it is aimed to develop a software application using these methods in order to shorten the period for diagnosis comparing with traditional methods. Since it is possible to create faster and cheaper methods for diagnosis using computer programs, the relevant tumor regions can be detected rapidly by applying machine learning approaches on pathological images. For a correctly targeted therapy in breast cancer, the results from these methods will be useful. In the light of these objectives, the contributions of this work to pathological image analysis can be listed as follows: a real-time tissue scoring system, the original dataset is shared in public for contributing to similar studies, diagnosis of score types on WSI's. This study can also be categorized as an innovative study since it has been devised for the classification of a WSI without fragmentation and direct detection of score types on WSI images. In first two approaches of the study, the images are processed through the texture fragments of pathologic images, whilst in the last approach, the scores determined over the WSI are detailed.