Yeni doğan bebeklerin termal görüntülerinin derin öğrenme yöntemleri ile sınıflandırılması

Abstract

Yeni doğan bebeklerin hastalıklarının erken teşhis edilmesi ve tedavi süreçlerinin izlenmesi sağlık durumlarının korunması bakımından büyük önem taşımaktadır. Termal görüntüleme iyonize olmayan, zararlı radyasyon içermeyen ve temassız bir görüntüleme tekniği olarak yeni doğan bebeklerin görüntülenmesinde on yıllardır kullanılmaktadır. Vücudun termal simetri dengesi temel alınarak gerçekleştirilen bu çalışmalar incelendiğinde klasik görüntü işleme tekniklerinin uygulandığı görülmektedir. Bu teknikler görüntü ön işleme (yeniden boyutlandırma, gri seviyeye dönüşüm), görüntü iyileştirme (gürültü giderme, histogram eşitleme), manuel ilgi alanı (İA) seçimi ve İA' da meydana gelen değişimlerin izlenmesidir. Probleme dayalı olarak geliştirilen bir algoritma bu teknikler kullanılarak başarılı sonuçlar elde edebilir fakat görüntüleme esnasında meydana gelebilecek her türlü durumun algoritmada tanımlanması gerekmektedir. Örneğin bebekler kuvöz içerisinde hareket ettiğinden dolayı oluşturulan İA' nın bu hareketlere bağlı olarak şekil değiştirmesi, yeniden eşleşmesi ve izlemeye devam etmesi gerekmektedir. Bütün olasılıklar hesaba katıldığında işlem yükünün artacağı buna bağlı olarak da gerçek zamanlı uygulamalardan uzaklaşılacağı görülmektedir. Çok katmanlı algılayıcılar, evrişimli sinir ağları ve çekişmeli üretici ağlar gibi derin öğrenme yöntemlerinin gelişmesi ile birlikte görüntü sınıflandırma ve görüntü üretme gibi işlemler görüntüden öğrenme felsefesi esas alınarak gerçekleştirilmektedir. Böylece her duruma karşılık gelen bir kod dizini oluşturmak yerine her durumu ifade eden görüntüler bulunması yeterli olmaktadır. Bu tez kapsamında Selçuk Üniversitesi, Tıp Fakültesi, Yeni Doğan Yoğun Bakım Ünitesinde tedavi gören 40 bebeğe ait termal görüntüler hem makine öğrenimi ve derin öğrenme yöntemleri kullanılarak sınıflandırılmış hem de termal görüntülerin yeniden üretilmesi gerçekleştirilmiştir. Burada derin öğrenme yöntemlerinin eğitilmesi için binlerce görüntüye ihtiyaç duyulmaktadır ancak medikal alanda böyle bir görüntü setinin oluşturulması çok uzun süreler alacağından görüntülerin artırılması için veri artırımı yöntemleri kullanılmıştır. Sonuçlar 10 – katlamalı çapraz doğrulama tekniğine göre elde edilmiş ve çeşitli değerlendirme kriterleri (karmaşıklık matrisi, özgüllük, doğruluk, hassasiyet, alıcı işlem karakteristiği, eğri altında kalan alan, yapısal benzerlik indeksi ve tepe sinyal gürültü oranı) ile değerlendirilmiştir. Çalışmalar arasında en iyi sınıflama sonucu evrişimli sinir ağları ve veri artırımı kullanılarak % 99.85 hassasiyet, % 99.82 özgüllük ve % 99.84 doğruluk değeri ile elde edilmiştir. Bu sonuçlar derin öğrenme yöntemlerinin termal görüntülerin sınıflandırılmasında oldukça başarılı olduğunu göstermektedir.

Early detection of diseases and monitoring of treatment process of neonates are critically important in terms of maintaining their health status. Thermal imaging, which is a non – ionized, no harmful radiation and non – contact method, has been used in medical applications for decades. When conventional studies based on thermal symmetry balance of the body are examined, it is seen that classical image processing techniques are applied. These techniques include image preprocessing (resizing, gray level transform), image enhancement (noise reduction, histogram equalization), manual region of interest (ROI) selection and monitoring of changes in ROI. A problem-based algorithm can achieve successful results using these techniques, but any situation that may occur during imaging should be defined in the algorithm. For example, because the infants move inside the incubator, the ROI must change shape, re-match and continue to monitor. When all the possibilities are taken into account, it will be seen that the cost of process will increase and therefore the real time applications will be removed. With the development of deep learning methods such as multi-layer perceptions, convolutional neural nets and generative adversarial nets, processes such as image classification and image generation are carried out on the basis of philosophy of learning from image. Thus, instead of creating a code index corresponding to each situation, it is sufficient to have images representing each situation. Within the scope of this thesis, thermal images were obtained belonging to 40 neonates who were treated in Selcuk University, Faculty of Medicine, Neonatal Intensive Care Unit and thermal images both were classified by using machine learning and deep learning methods and the thermal images were regenerated. Thousands of images are needed to train deep learning methods, since such a set of images would take a very long time in the medical field, data augmentation methods have been used to augment images. The results were obtained according to the 10 – fold cross validation technique and evaluated with various evaluation criteria (confusion matrix, specificity, accuracy, sensitivity, receiver operating characteristic, area under curve, structural similarity index and peak signal noise ratio). The best classification results were obtained by using convolutional neural nets and data augmentation with 99.85 % sensitivity, 99.82 % specificity and 99.84 % accuracy. These results show that deep learning methods are quite successful in the classification of thermal images.