Risk-calibrated evidential classifiers

Abstract

Bazı uygulamalarda, akıllı etmenler kararlarını vermek için sınıflandırma algoritmalarına güvenir ve tahminlerinin doğruluğu görevlerini başarıyla yerine getirmede önemli bir rol oynayabilir. Derin sinir ağları birçok sınıflandırma görevinde çok iyi performans gösterse de, bazen tahminlerinde başarısız olabilirler. Genellikle, tüm yanlış sınıflandırma hatalarının maliyeti aynı kabul edilir; fakat bu pratikte doğru değildir. Örneğin, kendi kendini süren bir araba uygulaması için, görüntüdeki yayayı bisikletli olarak tahmin edilmesi ile araba olarak tahmin edilmesinin maliyeti önemli ölçüde farklı olabilir. Hataların maliyeti asimetrik olabilir, etmenden etmene değişebilir ve içeriğe bağlıdır. Bu tez, derin sinir ağlarında sınıflandırma için belirsizlik ölçümü ve risk farkındalığı için yeni bir yaklaşım önermektedir. Ana sezgimiz, öngörücü belirsizliğin ilkeli bir şekilde ölçülebilmesidir; bu nedenle, bu tahminlerin yanlış olma olasılığı daha yüksek olduğunda sınıflandırıcılar yüksek belirsizliği tahminleriyle ilişkilendirebilirler. Ayrıca, eğitim sırasında yanlış sınıflandırma riski göz önünde bulundurlar; bu da daha yüksek kayıplara yol açan yanlış tahminler yapmaktan kaçınmalarını sağlar. Bunu başarmak için, önerilen risk kalibrasyonlu sınıflandırıcılar, Dirichlet dağılımının ortalamasına ve varyansına bağlı olarak tahminlerdeki belirsizliği ölçmekte ve yanlış olma olasılığı daha yüksek olan tahminler için belirsizlik değerini arttırmaktadır. Ayrıca, model daha riskli olan sınıflandırmalar için belirsizliği arttırmaktadır. Yaklaşımımızın performansını doğrulamak için, iyi bilinen çeşitli veri setleri üzerinde deneyler yaptık. Sonuçlar, önerilen risk-kalibre edilmiş sınıflandırıcıların, yüksek belirsizliği yanlış sınıflandırmalarıyla ilişkilendirdiklerini göstermektedir. Ayrıca, kayıp fonksiyonumuzun risk minimizasyon hedefi, sinir ağlarının sınıflandırma için daha az riskli kararlar vermesini sağlar.

In some applications, intelligent agents rely on classifiers in order to make their decisions and accuracy of their predictions may play a significant role in performing their tasks successfully. Although deep neural networks perform very well in many classification tasks, they may sometimes fail in their predictions and the cost of all misclassification errors are usually considered as the same, which is not true in practice. For instance, classifying a pedestrian in a given image as a cyclist may cost significantly different from classifying it as a car for a self-driving car application. The costs of errors can be asymmetric, vary from agent-to-agent, and depend on context. Accordingly, this thesis proposes a novel approach for uncertainty quantification and risk-awareness in deep neural networks for classification. Our main intuition is that the predictive uncertainty can be quantified in a principled way; hence, classifiers can associate high uncertainty with their predictions when these predictions are more likely to be wrong. Furthermore, they incorporate the notion of misclassification risk during training, which allows them to avoid making wrong predictions leading to higher losses. To achieve this, the proposed risk-calibrated classifiers quantify the uncertainty in predictions based on the mean and variance of the Dirichlet distribution and increase the uncertainty value for the predictions, which are more likely to be wrong. Furthermore, the model increases the uncertainty for the classifications, which are more risky. To validate the performance of our approach, we conducted experiments on a variety of well-known data sets. The results show that the proposed risk-calibrated classifiers associate high uncertainty with their misclassification. Furthermore, the risk minimization objective of our loss function allows neural networks to make less risky decisions for classification.