对抗平滑正则化项

原创已于 2025-09-14 22:13:01 修改 · 394 阅读

·

8

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

于 2025-09-14 22:12:01 首次发布

对抗平滑正则化（Adversarial Smoothing Regularization，ASR），将对噪声数据的预测设置为对干净数据的预测的对手，因此将其命名为对抗平滑正则项。

符号设定：

$p(\hat{y}|x,\theta )$ 表示用θ参数化的模型输出。

$\hat{y}=p(x,\theta )=p(x)$ 表示模型 p 对 x 的输出。

这衡量了噪声 $\xi$ 对 $p(\theta )$ 造成的额外损失。可被看为当前模型在每个输入数据点 x 周围预测平滑度的负度量，其减小意味着噪声造成的损失减小。

数据设定

有标签数据 $L={(x_{l}^{1},y_{l}^{1}),\cdots, (x_{l}^{\left | L \right |},y_{l}^{\left | L \right |})}$ ，样本数量为 $\left | L \right |$

无标签数据 $U={(x_{u}^{1},y_{u}^{1}),\cdots, (x_{u}^{\left | U \right |},y_{u}^{\left | U \right |})}$ ，样本数量为 $\left | U \right |$

协同回归

在协同训练中，对无标签样本的预测置信度可以由分类器输出的后验概率判断。那些置信度最高的预测被设置为无标签样本的伪标签，以扩展另一个分类器的训练集，基于这样相互标记的过程，两个分类器可以利用无标签样本的额外信息进行性能提升。大量研究已经证实，使这两个回归器彼此不同有利于性能改进 [77]，因此，Zhou 等人 [78] 使用不同的近邻数量和距离度量来扩大两个K近邻回归器之间的差异。

协同回归使用两个 K 近邻回归器进行无标签样本的相互标记过程，与分类任务相比，回
归场景中的主要挑战是如何选择置信预测作为无标签样本的伪标签。由于回归任务中没
有提供后验概率，协同回归通过分析预测值对有标签数据的影响来评估预测置信度。

三重回归算法流程

伪标签标注步骤前的流程：

三个有标签数据集 $L_1,L_2,L_3$ ，无标签数据集 $U'$ (控制样本数量，影响循环)
有数据集 $L_i$ 、近邻数 $k_i$ 、距离度量 $D_i$ 定义的K近邻算法 $h_i$

Repeat for T 轮，指有标签数据集中加入伪标签数据 T 次，每次至多加入两个；加入的同时，将对应数据从无标签数据集中删除，并将无标签数据集的样本数量通过随机采样补全。

方法出自《面向零_少样本场景的弱监督学习方法、应用与实现_冯良骏》第三章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。