Risk tahmin modellerine eklenen yeni faktörün katkısının değerlendirilmesinde biyoistatistiksel yaklaşımlar

Abstract

Giriş: Risk tahmin modelleri, hastalık ya da ölüm gibi klinik sonuçların tahmin edilmesinde kullanılan ve risk faktörlerini içeren bir regresyon tekniğidir. Uygulama alanındaki gelişmelerle ve teknolojik ilerlemelerle beraber yeni risk faktörlerinin bulunması kaçınılmaz bir durum haline gelmiştir. Bulunan bu yeni risk faktörlerinin modele ilavesi ve performans artışının değerlendirilmesinde merkezi bir rol üstlenen alıcı işlem karakteristikleri eğrisi (ROC) bazı sınırlamalar içermektedir. Bu sınırlamaların başında, tahmini regresyon katsayıları arasındaki değişimin ölçülmesinde sonuçların oldukça tutucu özelliğe sahip olması gelmektedir. Bundan dolayı yeni yöntem arayışları başlamış ve 2008 yılında Pencina ve arkadaşları tarafından yeniden sınıflama tablolarına dayanan ve yeni faktörün risk modeline katkısını açıklayan iki metot geliştirilmiştir. Bu iki yöntem net yeniden sınıflama iyileştirmesi (NRI) ve entegre ayırım iyileştirmesi (IDI)'dir. Çalışmada, iç içe tasarıma sahip modellerin performansının değerlendirilmesine imkan sağlayan ΔAUC, NRI ve IDI tekniklerinin birbirlerine göre avantaj ve dezavantajlarını araştırmak amaçlanmıştır. Gereç ve Yöntem: Çukurova Üniversitesi Tıp Fakültesi Balcalı Hastanesi'nin Yeni Doğan Yoğun Bakım Ünitesine, 2013-2015 Temmuz yılları arasında yatırılan 864 bebeğin ölüm olasılıklarını tahmin etmek için SNAP-II ve SNAPPE-II risk tahmin modelleri kullanılmıştır. Bebeğin sürfaktan ve annenin antenatal kortikosteroid (celestone) tedavisini alıp almaması yeni değişken olarak eklenmiştir. Simülasyon çalışmasında ise anlamsız değişken, uygun (fit) modele eklenmiş ve farklı örneklem büyüklüklerinde (100, 250, 500 ve 1000), farklı prevalans değerlerinde (0.10, 0.25 ve 0.50) 1000 tekrarlı simüle edilmiş verilerle yöntemlerin HP oranları belirlenmiştir.Bulgular: SNAP-II risk tahmin modeline hem celestone hem de sürfaktan bilgisinin eklenmesi ile elde edilen modele bağlı performans artışı anlamlı bulunmuştur. Bununla beraber SNAPPE-II risk tahmin modeline celestone bilgisinin eklenmesi ile elde edilen performans artışı sadece NRI sürekli istatistiği tarafından anlamlı bulunmuştur. Simülasyon çalışması ile NRI sürekli istatistiğinin HP oranı en yüksek iken ΔAUC ve IDI istatistiğinin HP oranının en düşük olduğu belirlenmiştir. Bununla beraber NRI kategorik istatistiği düşük prevalanslarda yüksek HP oranına sahip iken prevalansın artışına bağlı olarak HP oranı azalmaktadır. Sonuç: ΔAUC istatistiği oldukça tutucu sonuçlar vererek H0 hipotezini kabul etmeye en yatkın yaklaşım olarak belirlenirken NRI sürekli istatistiği tam tersi şeklinde davranmaktadır. IDI istatistiğinin HP oranındaki düşüklük ve anlamlı değişken senaryosunda performans artışını anlamlı bulması göz önüne alındığında kullanımı en uygun olabilecek yöntem olarak belirlenmiştir.

Introduction: Risk prediction model is a regression method that is used for predicting clinical outcomes, such as disease or death, and including risk factors. Along with the developments in application fields and technological progress, discovery of new risk factors has become inevitable. Receiver Operating Characteristic (ROC) curve, that has a major role in including these new risk factors into the model and evaluating the performance of the model, has some limitations. The most important limitation of ROC is that the difference between predictive regression coefficients is highly conservative. To be used as a solution to this limitation, Pencina et al. (2008) proposed two methods which are based on reclassification tables and explaining the new factor's contribution to the risk model. These two methods are called the Net Reclassification Improvement (NRI) and Integrated Discrimination Improvement (IDI). In this study, the aim is to investigate the performance and compare the advantages and disadvantages of ΔAUC, NRI and IDI techniques that are nested models.Material and Method: In order to predict the death probabilities of 864 babies hospitalized in the Newborn Intensive Care Unit in Çukurova University Medical Faculty Balcalı Hospital between the years 2013 and 2015, SNAP-II and SNAPPE-II risk prediction models are used. Surfactant treatment for the baby and corticosteroid (celestone) treatment for the mother are added into the model as a new variable. In the simulation study, the insignificant variable is added to the fitted model and then several datasets are generated using different sample sizes (100, 250, 500 and 1000) and different prevalence values (0.10, 0.25 and 0.50) with 1000 replications. These datasets are used to calculate False Positive Ratios (FPR) of the ΔAUC, NRI and IDI methods.Results: Improvement in the performance of the model obtained by including both celestone and surfactant variables into the SNAP-II risk prediction model is decided to be significant. Nevertheless, Improvement in the performance of the model obtained by including celestone into the SNAPPE-II risk prediction model is founded significant only by continuous NRI. The simulation study showed that the FPR of the continuous NRI is the highest while FPR of the ΔAUC and IDI is the lowest. Moreover, it is concluded that categorical NRI has high FPR values at low prevalence levels and depending on the increase in prevalence values, FPR values tend to decrease.Conclusion: Whereas ΔAUC statistic is decided to be the approach that has the most tendency to accept H0 by yielding very conservative results, the continuous NRI behaves quite the opposite. IDI statistic is decided to be the most appropriate method since its FPR values are lower than the other two methods and it concludes that the performance increase is significant in the real dataset.