Evaluation and analysis of a computer aided diagnostic system for lung nodule assessment in CT scans

Abstract

Akciğer kanseri teşhisi sürecinde BT taramalarından nodüllerin kötü huyluluğunu tahmin etmek radyologlar için karmaşık bir süreçtir. Bilgisayar Destekli Tanı Sistemleri, lezyonları doğru şekilde tanımlamak için radyologlara ikinci bir fikir verir. BDT sistemi geliştirirken göz önünde bulundurulması gereken en önemli nokta anlaşılır ve tutarlı bir veri tabanıdır. Lung Image Database Konsorsiyumu (LIDC) veri tabanı, araştırmacılara dört radyoloğun nodüllerin karakteristik özellikleri ve konumları ile ilgili değerlendirmelerini içeren BT taramaları sunar. Kötü huyluluk 5 ayrı derecelendirme ile değerlendirilmiştir: Yüksek ve orta olasılıkla iyi huylu, belirsiz, orta ve yüksek olasılıkla kötü huylu. Bu çalışmada, SVM, RF ve ANN sınıflandırıcılarının performansı 1018 vaka, 907 nodül ve 110 özellik kullanılarak karşılaştırılmıştır. Deneysel sonuçlar, en iyi performans gösteren sınıflandırıcıların malignite tahmininde sırasıyla ANN, SVM ve RF olduğunu göstermektedir. LIDC veri tabanının en kritik eksiği, biyopsi sonuçlarının bulunmaması nedeniyle standart referans verisinin olmamasıdır. Bu nedenle, standart referansın belirlenmesinde ortalama oylama kullanılmıştır. Öte yandan, radyologların malignite sonuçlarının gruplandırılmasının sınıflandırma sonuçların doğruluğunu artırdığı görülmektedir. Sınıflandırıcılar, malignite veri kümeleri üzerinde 5 sınıf, 3 sınıf (iyi huylu, belirsiz, kötü huylu) ve 2 sınıf (iyi huylu, kötü huylu) olmak üzere test edilmiştir. Deneyler, radyologların malignite derecelendirmelerini gruplamanın, sınıflandırma performansını arttırdığını göstermektedir. Sonuçlar, orta ve yüksek derecede kötü huylu gibi ara değerlendirmelerinin sınıflandırma performansını olumsuz yönde etkilediğini göstermektedir. Buna rağmen, iyi huylu ve kötü huylu adı altında iki sınıf kullanılması, doğruluk oranını 98%'e kadar arttırmaktadır.

Throughout the process of detecting lung cancer, using CT scans to predict the malignancy level of pulmonary nodules will be complicated process for radiologists. CAD gives a second opinion to radiologists to identify lesions properly and distinguish malignant nodules at the early stage of lung cancer. In order to develop the CAD scheme, a coherent and consistent database such as the Lung Image Database Consortium (LIDC) database is the most crucial point to consider. In that database, CT scans are evaluated by four different radiologists and their annotations on nodule characteristics are highly efficient for researchers. One of these characteristics is malignancy that has 5 ratings: Highly - moderately unlikely, indeterminate, moderately- highly suspicious. In this study, the classifier performances of SVM, RF and ANN are compared using 1018 cases, 907 nodules and 110 extracted features. Experimental results demonstrate that best performing classifiers are respectively ANN, SVM and RF on malignancy prediction. The most critical gap of LIDC Database is the lack of ground truth data that is mainly caused by the absence of biopsy results. Therefore, by using arithmetic mean voting, this problem might be avoided and desired information might be acquired. The results of analyses show that grouping radiologists' malignancy ratings increases classification accuracy. Classifiers are examined with the use of 5 class, 3 class (benign, indeterminate, malignant) and 2 class (benign, malignant)ratings on malignancy datasets. Experiments show that the classification performance is enhanced by grouping malignancy ratings. Three groups of datasets' classification results indicate that moderately and highly malignant separation assessments affect classification performance negatively. However, using two classes under the name of benign and malignant, increases the accuracy rate up to 98%.