On Calibration of Modern Neural Networks阅读笔记-CSDN博客

本文链接：https://blog.csdn.net/weixin_60503596/article/details/134208698

文章讨论了深度学习中的关键因素如深度、宽度和权重衰减对神经网络校准的影响。通过实例，强调了神经网络不仅需精确预测，还需提供可信的置信度估计。研究目标在于理解校准问题并提出解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Abstract:

depth, width, weight decay, and Batch Normalization are important factors influencing calibration.

Introduction:

文章中提到了两个例子来说明：神经网络分类器不仅仅需要精确，还需要指出何时他们不正确。

一个例子是自动驾驶领域，使用神经网络去检测行人和障碍物。如果检测网络不能confidently预测是否存在直接障碍物，汽车在这个时候应当更多的依赖于其他传感器的输出进行制动。另一个例子是在自动医疗领域，在疾病诊断网络的置信度较低时，需要传递给医生进行诊断。

这说明，一个神经网络应当在提供预测之外，再提供一个calibrated confidence measure。换句话说，和预测类别label关联的概率应当能反映基本事实正确的可能性(likelihood)。

Calibrated confidence estimate对于模型的可解释性也很重要。此外，良好的概率估计值可用于讲神经网络合并到其他概率模型之中。

图一展示：modern neural networks are no longer well-calibrated

第一行：以直方图的形式显示预测置信度（即与预测标签相关的概率）的分布。
LeNet 的平均置信度与其准确性非常接近，而 ResNet 的平均置信度远高于其准确性

第二行：We see that LeNet is well-calibrated, as confidence closely approximates the expected accuracy (i.e. the bars align roughly along the diagonal). On the other hand, the ResNet’s accuracy is better, but does not match its confidence.

Our goal is not only to understand why neural networks have become miscalibrated, but also to identify what methods can alleviate this problem.

Definitions

input: X ∈ $\chi$ 和 label Y ∈ $\gamma$ = {1, . . . , K} 都是随机变量，follow a ground truth joint distribution π(X, Y ) = π(Y |X)π(X).

Let h be a neural network with $h(x) = (\hat Y ,\hat P)$ , where $\hat Y$ is a class prediction and $\hat P$ is its associated confidence, i.e. probability of correctness.