Gerçek zamanlı mamografi yorumu karar destek sistemi

Abstract

Radyoloji raporları genellikle yapılandırılmamış düz metinler halinde olup, karar destek için kullanılabilecek bir çok veriyi içinde barındırmaktadırlar. Bunun yanı sıra raporlarda genellikle birden fazla lezyona ve bu lezyonların özelliklerine ait bilgiler bulunmakta ve bu durum her bir lezyona ait bilgi çıkarımı gibi ileri düzey bir çalışmayı gerektirmektedir. Bu çalışmanın amaçlarından ilki, doğal dil işleme yöntemleri ile yapılandırılmamış ya da yarı yapılandırılmış mamografi raporlarından karar destek sistemine girdi verisi olarak verilebilecek otomatik bilgi çıkarımı sağlayan bir sistem geliştirmektir. Bu amaçla, General Architecture for Text Engineering (GATE) NLP isimli platform kullanılarak, bir çok farklı bileşen içeren bir ardışık düzen geliştirilmiştir. Bu ardışık düzen sonucunda karar destek için gerekli olan veriler mamografi raporlarından çıkartılmaktadır. Geliştirilen sistem Stanford Üniversitesi görüntü bilişimi laboratuarının kullanımına sunulmuş olan ve yapılandırılmış raporlama uygulamasını da destekleyen PenRad (PenRad, Buffalo, MN) isimli radyoloji veri tabanından seçilen 300 mamografi raporu üzerinde değerlendirilmiştir. Referans veri setinde 797 lezyon bulunurken sistem 815 lezyon saptamıştır (780 gerçek pozitif, 35 yanlış pozitif, 17 yanlış negatif). Geliştirilen bilgi çıkarımı sisteminin tüm lezyonların özellikleriyle birlikte saptanma doğruluğunu belirten kesinlik değeri 94,9 olup hassasiyet değeri 90,9'dur ve F ölçümü 92,8 olarak hesaplanmıştır.Bir çok çalışmada mamografi değerlendirmelerinde gözlemler ve gözlemciler arası değişkenliğin önemli bir problem olduğu ve bu değişkenliği azaltmak için mamografide karar destek sistemlerinin kullanımının önemi vurgulanmıştır. Klinik değerlendirmeler sırasında ortaya çıkan bu ve benzeri problemlerin çözümünde karar destek sistemlerinin katkıları bilinse de, bulgulardaki değişkenlik gibi problemlerinin giderilmesine katkı sağlayan BI-RADS sınıflandırma sistemini içeren ve gerçek zamanlı sonuç veren bir karar destek sistemi bulunmamaktadır. Bu çalışmanın ikinci amacı, bilgi çıkarımı sisteminin çıkarttığı bilgileri karar destek sistemine girdi verisi olarak vererek, raporlama sırasında lezyonlara ait sonuç üretebilecek gerçek zamanlı karar destek sistemi (GZ-KDS) geliştirmek ve çıktılarını değerlendirmektir. Bilgi çıkarımı sistemi tarafından saptanan ve referans veri setinde bulunan verilerin karar destek sisteminde analizi ile elde edilen BI-RADS sınıflama kodları arasındaki uyumu ölçmek için hesaplanan ağırlıklandırılmış Kappa (ƙw) değeri κ=0.721 olarak hesaplanmıştır (p<0.01). Bu değer iki veri seti arasında yüksek derecede uyum olduğunu göstermektedir. Bu çalışma birçok açıdan bir ilk çalışma olup, çalışmanın sonuçları, girdi verisinin otomatik olarak serbest metinlerden sağlandığı gerçek zamanlı karar destek sistemlerinin potansiyelini göstermiştir. Bu sistemlerin klinisyenlerin iş akışına kolayca entegre olabilmesine ve yorumlardaki değişkenliğin azaltılmasına fayda sağlayacağı düşünülmektedir.

Radiology reports are usually narrative, unstructured text, a format which hinders the ability to input report contents into decision support systems. In addition, reports often describe multiple lesions, and it is challenging to automatically extract each lesion and its relationships to characteristics, anatomic locations, and other information that describes it. One of the goals of this work is to develop natural language processing (NLP) methods to recognize each lesion in free-text mammography reports and to extract its corresponding relationships, producing a complete information frame for each lesion. NLP information extraction pipeline was built in the General Architecture for Text Engineering (GATE) NLP toolkit. Sequential processing modules are executed, producing an output information frame required for a mammography decision support system. Each lesion described in the report is identified by linking it with its anatomic location in the breast. In order to evaluate our system, we selected 300 mammography reports from a hospital report database, whose reports were created using a structured reporting application (PenRad, Buffalo, MN). The gold standard contained 797 lesions, and our system detected 815 lesions (780 true positives, 35 false positives, and 17 false negatives). The precision of detecting all the imaging observations with their modifiers was 94.9, recall was 90.9, and F measure was 92.8. In mammography, Decision Support Systems (DSSs) are particularly important since there is variation in radiologist practice. The second goal of this study is to address the critical hurdle of enabling the deployment of DSS into the clinical workflow by developing a real-time mammography reporting decision support system (RT-MRDSS) for mammography that (1) extracts from narrative mammography reports a comprehensive set of inputs into a DSS for mammography, comprising radiologist-observed features and (2) provides real-time decision support about the diagnosis (as soon as the radiologist completes the report). We also present an initial evaluation of our RT-MRDSS system. In our case, the agreement in BI-RADS classification codes produced by our RT-MRDSS and by the gold standard was substantial (κw=0.721; p<0.01). Since our RT-MRDSS produces consistent results with consistent inputs, it is possible that it may reduce the variation in practice in mammography related to assessment of malignant lesions and biopsy decision. In addition, we believe our system will help radiologists to improve the completeness and consistency of their reports, with better clinical communication and practice improvement. With further testing, the system may ultimately help to improve mammography practice and improve the quality of patient care.