Birden çok değerlendirici birden çok tanı testinin bulunduğu çalışmalarda diagnostik performans analizi

Abstract

ROC verilerinin analizinde geleneksel metotlar ya tek bir değerlendiricinin bir grup vaka üzerindeki sonuçlarını ya da birden fazla değerlendiricinin yine bir grup vaka üzerindeki sonuçları üzerinden yapılır. Geleneksel ROC analizinde amaç değerlendiricilerin performansını değerlendirmek değildir. Fakat geleneksel ROC analizinden farklı olarak hem tanı testlerinin vaka gruplarını ayırmadaki performansını hem de değerlendiricilerin performansını multi reader multi case MRMC analizleriyle çözümlemek mümkündür. Bu tür çalışmaların temel amacı ROC eğrileri toplamak değildir. Amaç, değerlendiricilerin ya da değerlendiricilerin ortalamaları arasındaki tanı testinin doğruluğunu ortaya çıkarmaktır. Her değerlendiricinin her vakayı değerlendirdiği tam çapraz deneme planlı ROC verilerinin değerlendirilmesini Dorfman'ın 1992'de yapmış olduğu çalışmasında ilk defa MRMC çalışmaları olarak değinmişlerdir. Çalışmada her defasında bir vakanın dışarıda tutulduğu Jackknife yeniden örnekleme yöntemini kullanarak klasik varyans analiz çalışması yapmıştır. Ve bu amaçla DBM metodunu önermiştir. Bu çalışmada çoklu değerlendirici ve çoklu tanı testinin bulunduğu çalışmalarda değerlendiriciler arasındaki uyumun ve tanı testleri arasındaki uyumun diagnostik doğruluk sonuçlarına etkisine bakılmıştır. Bu nedenle değerlendiriciler arasında uyumun çok yüksek (0.90) veya çok düşük (0.10), tanı testleri arasındaki uyumun çok yüksek (0.90) veya çok düşük (0.10) olduğu durumlar olmak üzere 2 farklı deneme planı oluşturulmuş ve simülasyon çalışması yapılmıştır. Birden çok değerlendirici ve birden çok tanı testinin bulunduğu doğruluk çalışmalarında değerlendiriciler ve tanı testleri arasında uyum ve uyumsuzluğun var olması kaçınılmazdır. Her koşuldaki Tip I Hata artma riskini ortadan kaldırmak için örnek genişliği, tanı testi sayısı ve değerlendirici sayısının dengelenmesi gerekmektedir.

Diagnostic evalution for one group observation may be done by one or more reader and the traditional ROC analysis is often used to analyse test results. In traditional ROC analysis, the objective is not to evaluate the performance of estimators. But, it is possible to resolve both the performance of diagnostic tests in classification of observation groups and the performance of readers by multireader multicase (MRMC) analyses unlike traditional ROC analysis. The main objective of these kinds of studies is not to collect ROC curves. The objective is to reveal the accuracy of estimators or the accuracy of diagnostic test between the averages of readers. Assessment of complete cross validation of ROC data with a trial plan, in which every reader assess every observation, was referred as MRMC studies for the first time in 1992 by a study of Dorfman.In the study, he conducted the classical variance analysis study by using Jackknife resampling method, in which an observation is left out every time, and for this purpose, he recommended DBM method. In this study, the effect of coherence among estimators and among diagnostic tests in studies that comprise multiple estimators and multiple diagnostic tests on the results of diagnostic accuracy was analyzed. For this reason, two different trial plans were generated as situations, in which the coherence among estimators is either high (0.90) or low (0.10) and the correlation between diagnostic tests is either powerful (0.90) or poor (0.10), and then simulation study was conducted. The existence of coherence or incompatibility among estimators and diagnostic tests in the accuracy studies that have multiple readers and diagnostic tests is inevitable. The sample size, the number of diagnostic test and the number of readers should be balanced in order to remove the risks of Type I error increase in all conditions.