Oküler hastalıkların sınıflandırılmasında derin konvolüsyonel sinir ağı modeli

Abstract

Amaç: Oftalmolojide, insan gözündeki anatomik yapıları ve anomalilikleri yakalamak için bir retina görüntüleme yöntemi olan fundus görüntüleme ve erken fundus taraması, oftalmolojik hastalıkların neden olduğu körlüğü önlemenin etkili ve ekonomik bir yoludur. Klinik olarak, tıbbi kaynakların yetersizliği nedeniyle manuel teşhis zaman alıcıdır. Hastalığa ait tanı, teşhis ve tedavi durumunu geciktirebilir. Günümüzde hızlı ve otomatik hastalık tespiti, oftalmologların iş yükünü azaltmak için kritik ve acildir. Oftalmologlar, gözün ve çevresindeki yapıların doğrudan veya dolaylı olarak görselleştirilmesi yoluyla örüntü tanımaya dayalı olarak hastalıkları teşhis eder. Oftalmoloji alanının hastalık tespitinde fundus görüntülerine olan bu bağlılığı, derin öğrenme mimarilerinden yararlanmak için mükemmel bir zemin hazırlamıştır. Bu tez çalışmasının temel amacı, yapay zeka odaklı oküler hastalıkların sınıflandırma probleminin çözümlenmesini sağlamaktır. Bu kapsamda, hastaların sağ ve sol gözlerinden alınan renkli fundus görüntüleri ve her bir görüntüye ait hastalık teşhis anahtar kelimeleri olan eğitim verisi kullanılarak oküler hastalık sınıflandırması için farklı derin konvolüsyonel sinir ağı modelleri oluşturmak, bu modellerin eğitimini gerçekleştirmek, model eğitimi sonrası, test fundus görüntü kümesi kullanılarak oluşturulan modellerin hastalık sınıflandırma performans ölçütleri olan kappa değeri, F1 skoru, Eğri altında kalan alan (Area Under Curve-AUC) ve bu üç ölçütün ortalaması olan Final skoru değerlerinin hesaplanması, modellerin sınıflandırma performansının bu ölçütlere göre değerlendirilmesi, en iyi skora sahip modelin oküler hastalıkların sınıflandırılmasında kullanılması ve literatüre önerilmesi amaçlanmıştır.Yöntem: Konvolüsyonel sinir ağları (CNN), güçlü özellik öğrenme yeteneği ile fundus görüntüleri üzerinde dikkate değer bir başarı elde etmiştir ve derin öğrenmenin gelişmesiyle birlikte, oftalmoloji alanında hastalıklar üzerine yapılan araştırmalar hız kazanmıştır. Yapılan araştırmaların çoğu sadece tek bir hastalığa odaklanmıştır. Göz dibi taraması sırasında, oftalmologlar genellikle binoküler fundus görüntüsünde çoklu hastalık teşhisi verirler. Gerçek tıbbi senaryoyu karşılayabilmek için 2019 yılında ilk kez 8 farklı hastalık sınıfı içeren binoküler fundus görüntülerinden oluşan halka açık Oküler Hastalık Akıllı Tanıma (ODIR) veri seti yayınlanmıştır.Bulgular: Bu tez çalışmasında, oftalmolojik hastalıklara ait görüntülerinin sınıflandırılması için literatürde State of the Art Modelleri olarak adlandırılan ve üç başarılı model olan Inceptionv3, VGG16 ve ResNet50 CNN mimarisi oluşturulmuştur. Ön-eğitimli ImageNet ağırlıkları kullanılarak, her bir model için öznitelik çıkarımı elde edildikten sonra modellerin hastalık sınıflandırma performansları değerlendirilmiştir. Uluslararası Oküler Hastalık Akıllı Tanıma Yarışması tarafından sağlanan veri seti üzerinde eğitilen ve test edilen modeller için sırası ile Final skoru değerleri VGG16 modeli için, 0.677, Inceptionv3 modeli için 0.669, ResNet50 modeli için 0.628 bulunmuştur.Sonuç: Elde edilen yüksek doğruluk, AUC, F1 skoru, kappa değeri ve son üç ölçütün ortalaması olan en yüksek Final skor değerine sahip CNN modeli olan VGG16 modelinin fundus görüntülerinin sınıflandırılmasında kullanılabileceğini; Tıp Fakültelerinin Oftalmoloji alanında uzmanlara tanı aşamasında yardımcı bir destek rolü üstlenebileceği ve bu alanda gelecekte kullanılabilir sistemler tasarlanabileceğini göstermektedir. Anahtar Kelimeler: Görüntü Sınıflandırma, Fundus görüntüleri, Derin öğrenme, Konvolüsyonel Sinir Ağları, Ön-eğitimli ağlar, Inceptionv3, VGG16, ResNet50.

Aim: Fundus imaging and early fundus scanning, a retinal imaging method to capture anatomical structures and anomalies in the human eye in ophthalmology, is an effective and economical way to prevent blindness caused by ophthalmologic diseases. Clinically, manual diagnosis is time consuming due to the scarcity of medical resources. Diagnosis, diagnosis and treatment of the disease may delay. Fast and automated disease detection today is critical and urgent to reduce the workload of ophthalmologists. Ophthalmologists diagnose diseases based on pattern recognition through direct or indirect visualization of the eye and surrounding structures. This commitment of the field of ophthalmology to fundus images in disease detection has laid the perfect groundwork for taking advantage of deep learning architectures. The main purpose of this thesis is to solve the classification problem of ocular diseases focused on artificial intelligence. In this context, creating different deep convolutional neural network models for ocular disease classification by using color fundus images taken from the right and left eyes of the patients and the education data, which are the disease diagnosis keywords of each image, to train these models, after the model training, the test fundus image set Calculation of the disease classification performance criteria such as kappa value, F1 score, Area Under Curve (AUC) and Final score values which are the average of these three criteria, evaluation of the classification performance of the models according to these criteria, It is aimed to be used in the classification of diseases and suggested to the literature.Method: Convolutional neural networks (CNN) have achieved remarkable success on fundus images with their powerful feature learning ability, and with the development of deep learning, research on diseases in the field of ophthalmology has gained momentum. Most of the research has focused on only one disease. During fundus scanning, ophthalmologists usually diagnose multiple diseases on a binocular fundus image. In order to meet the real medical scenario, a public Ocular Disease Intelligent Recognition (ODIR) data set consisting of binocular fundus images containing eight different disease classes was published for the first time in 2019.Results: In this thesis, three successful models Inceptionv3, VGG16 and ResNet50, which are called State of the Art Models in the literature, were created for the classification of images of ophthalmologic diseases. The disease classification performances of the models were evaluated after feature extraction was obtained for each model using pre-trained ImageNet weights. Final score values for the models trained and tested on the data set provided by the International Ocular Disease Intelligent Recognition Competition were 0.677 for the VGG16 model, 0.669 for the Inceptionv3 model, and 0.628 for the ResNet50 model, respectively.Conclusion: The obtained high accuracy, AUC, F1 score, kappa value and the highest Final score value of the CNN model, which is the average of the last three criteria, can be used in classification of fundus images; It shows that Medical Faculties can play an auxiliary role to support specialists in the field of ophthalmology at the diagnosis stage and that systems can be designed in the future.Keywords: Image Classification, Fundus images, Deep learning, Convolutional Neural Networks, Pre-trained networks, Inceptionv3, VGG16, ResNet50.