Altın standartlı ve altın standartsız durumlarda parametrik, yarı parametrik ve parametrik olmayan ROC eğrisi yöntemlerinin karşılaştırılması

Abstract

Bu çalışmada, normal ve lognormal dağılımdan türetilmiş, sürekli tanı testi veri setleri için altın standartlı (AS(+)) ve altın standartsız (AS(-)) durumlarda parametrik, yarı parametrik ve parametrik olmayan ROC (Receiver Operating Characteristic) eğrisi yöntemlerinin performansları karşılaştırıldı.AS(+) ve AS(-) durumu için gösterge parametreleri, a=1.40, b=0.90, eğri altında kalan alan (EAA) 0.85 olacak şekilde normal ve lognormal dağılımdan türetilmiş n=50, 100 ve 250 birimlik veri setleri için üç farklı yönteme göre ROC EAA'ları ve gösterge parametresine olan yakınsama değerleri (bias) hesaplandı. AS(-) durumda hasta ve sağlam grupların belirlenmesi için gizli sınıf analizi yönteminin klasik hata modeli kullanıldı. Genelleştirilmiş doğrusal modeller (GLM) yaklaşımı ile elde edilen yarı parametrik ROC yönteminin bağlantı fonksiyonu olarak probit bağlantı fonksiyonu (PBF) ve logit bağlantı fonksiyonu (LBF) kullanıldı. Yöntemlerin karşılaştırılmasında, Monte Carlo simülasyonu sonucu elde edilen ROC eğrisinin a ve b parametre tahminleri ile EAA'lardan yararlanıldı. Simülasyonlar SAS/IML ve SAS/GENMOD kullanılarak yapıldıTüretilen veri setlerinde AS(+) ve AS(-) durumda ve farklı örnek hacimlerinde, parametrik yöntem, PBF'li ve LBF'li yarı parametrik yöntem ve parametrik olmayan yöntemlere ait ROC eğrileri çizildi. Yöntemler, ait oldukları EAA'ların yanlılıkları dikkate alınarak karşılaştırıldı.Lognormal dağılım gösteren veri setlerinde AS(+) durumda parametrik yöntem yanlı tahmin verirken, en iyi yakınsamayı parametrik olmayan yöntemin verdiği görüldü. Birim sayısı arttıkça PBF'li yarı parametrik yöntem ile parametrik olmayan yöntemin benzer sonuçlar verdiği gözlendi. AS(-) durumda ise PBF ve LBF'li yarı parametrik yöntemler ile parametrik olmayan yöntemlerin benzer sonuçlar verdiği ve gösterge parametresini en iyi yakınsamayı LBF'li yarı parametrik yöntemin verdiği saptandı.Sonuç olarak; tanı testlerinin performanslarının değerlendirilmesinde, deneme sayısı 50 birimin altında olmamak koşulu (n?50) ile birim sayısı yöntemler üzerinde önemli farklılaşmalara neden olmadı. AS(+) durumunda veri setinin dağılımına bakılmaksızın PBF'li yarı parametrik, AS(-) durumunda lognormal dağılım gösteren veri setlerinde LBF'li yarı parametrik yöntem, normal dağılım gösteren veri setlerinde ise parametrik yöntem ya da PBF'li yarı parametrik yöntem tercih edilmesinin uygun olduğu belirlendi.

In this study, it was aimed to compare the performances of parametric, semiparametric, and nonparametric Receiver Operating Characteristic (ROC) Curve methods for continuous diagnostic data sets generated normal and lognormal distributions with and without a gold standard, which are called GS and NGS respectively.In the simulation study, data set were generated from normal and lognormal distributions with sample sizes are n=50, 100 and 250 for GS and NGS conditions. The parameter values were determined as a=1.40, b=0.90 and corresponding area under the curve (AUC=0.85) for normally distributed data set. In the lognormally distributed data set the corresponding parameter value for AUC was considered as 0.85. Then the three ROC methods were applied to these data set and the parameter estimates with their biases were evaluated. In the condition of NGS, classical error model in latent class method was used to predict diseased and nondiseased subjects. For the semiparametric ROC approach with generalized linear models (GLM) probit (PLF) and logit (LLF) link functions were applied.To compare of the three ROC methods performances, the parameter estimates of a, b, and AUCs, which evaluated from Monte Carlo simulation studies, were used. Simulations were performed by using SAS/IML and SAS/GENMOD procedure. Using generated data set, parametric, semiparametric with PLF and LLF, and nonparametric ROC Curves were traced out, under different sample sizes in the condition of GS and NGS.In the condition of GS, parametric ROC method had biased parameter estimates for lognormally distributed data set. However, nonparametric ROC method showed a good performance with too little bias for the same condition and data set. When the sample size increased semiparametric methods with PLF and LLF had similar parameter estimates. In the condition of NGS with lognormally distributed data set semiparametric ROC method with PLF and nonparametric ROC method yielded similar results. Semiparametric method with LLF had less biased estimates than the other two methods.As a result, in the assessment of the diagnostic test accuracy, when the sample size is greater than 50 there is no any effect of sample size on the methods. In the condition of GS, ignoring the distribution of test results, semiparametric ROC method with PLF, in the condition of NGS with nonnormally distributed test result, semiparametric ROC method with LLF were suggested. Parametric ROC method and semiparametric ROC method with LLF should be applied to the test results in the condition of NGS with normally distributed test results.