LTD: Low Temperature Distillation for Robust Adversarial Training

MTandHJ

于 2021-12-10 11:03:51 发布

阅读量301

点赞数

分类专栏： neural networks 文章标签：计算机视觉深度学习人工智能

本文链接：https://blog.csdn.net/MTandHJ/article/details/121851649

版权

neural networks 专栏收录该内容

143 篇文章

订阅专栏

本文介绍了一种利用低温蒸馏（Low-temperature Distillation）策略来增强神经网络对抗样本鲁棒性的方法。通过使用软标签替代硬标签训练，减少对抗样本间的决策边界，作者在Chen和Lee的预印本arXiv:2111.02331中详细探讨了这一技术。研究还包括对批量采样和批归一化(BN)行为的深入分析。提问者质疑是否尝试过在对抗训练(Adversarial Training, AT)中应用该方法，但未找到显著创新点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- 概
- 主要内容

Chen E. and Lee C. LTD: Low temperature distillation for robust adversarial training. arXiv preprint arXiv:2111.02331, 2021.

概

本文利用distillation来提高网络鲁棒性.

主要内容

如上图所示, 作者认为, 如果我们用one-hot的标签进行训练, 结果会导致图(b)中的情形, 于是两个分布中间的空袭部分均可以作为分类边界, 从而导致存在大量的对抗样本的存在. 解决的方案要么更加密集的采样(即增加样本), 或者使用soft-label即本文的策略.

本文的目标即:
$\mathcal{L}_{LTD} = \mathcal{L}_{ce}(p^s(x; T=1), p^t(x;T=\tau)) + \beta \mathrm{KL}(p^s(x;T=1)\|p^s(x';T=1)),$
其中 $p^s$ 表示学生网络得到的概率向量, 而 $p^t$ 是在普通数据上训练好的教师网络得到的概率向量(且注意其temperature不为1, 根据作者的消融实验, $T = 5$ 对于WRN是一个不错的选择).