PGD 中 min-max 问题

最新推荐文章于 2023-06-14 14:45:19 发布
最新推荐文章于 2023-06-14 14:45:19 发布
阅读量1.3k 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyf2017/article/details/123616690
本文深入探讨了Madry等人提出的PGD对抗训练方法，该方法旨在增强模型对抗攻击的鲁棒性。通过最大化内部损失函数，攻击者寻找对抗样本，而防御者则努力最小化由此产生的损失。尽管PGD训练能有效抵御多种攻击，但其生成对抗样本的成本高昂。文章从攻击者和防御者的角度阐述了这一优化问题，并讨论了其在实际应用中的挑战。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. min-max 问题

为解决基于迭代方法生成的对抗样本攻击，Madry等人[2]提出PGD对抗训练方法，并从鲁棒优化的角度研究模型的对抗鲁棒性以及给出对抗鲁棒性的统一观点。对抗样本的攻击防御问题总结如式(2.1)所示：
在这里插入图片描述

其中x为原始样本，δ为扰动信息，S为扰动信息的集合，y为原始样本x的正确标签，D是数据(x,y)满足的分布，θ是模型参数,对式(2.1)的优化可分别从攻击者和防御者的角度展开。攻击者希望内部的损失函数最大化，目的是找出有效的对抗样本。防御者希望外部的优化问题最小化,目的是减小对抗样本造成的损失函数升高。基于PGD对抗训练方法所得到的模型能够有效防御多种类型攻击，然而该方法存在严重的缺陷，即生成PGD对抗样本的成本太高。

对抗学习总结：FGSM-＞FGM-＞PGD-＞FreeAT, YOPO -＞FreeLb-＞SMART-＞LookAhead-＞VAT
u013250861的博客
01-03 1396
PGD虽不复杂，但因其两次保存/恢复操作容易搞晕——应注意的是，在K步for循环的最后一步，恢复的是梯度，因为我们要在原始梯度上进行梯度更新，更新的幅度即”累加了K次扰动的embedding权重所对应的梯度“；对于每个样本，FGSM和FGM都只用计算两次，一次是计算x的前后向，一次是计算x+r的前后向。FreeLB指出，FreeAT的问题在于每次的r对于当前的参数都是次优的（无法最大化loss），因为当前r是由r(t-1)和theta(t-1)计算出来的，是对于theta(t-1)的最优。
Bert+FGSM/PGD实现中文文本分类（Loss=0.5L1+0.5L2)
Python，数据分析，机器学习，深度学习
06-05 824
这段代码的主要作用是创建一个用于文本分类的 BERT 模型，并初始化优化器和损失函数。其中： BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=10) 加载了预训练的 BERT 模型，并创建了一个用于文本分类的 BERT 模型。其中，'bert-base-chinese' 表示使用中文 BERT 模型，num_labels=10 表示模型的输出类别数为 10。
min-max-min：解决最小-最大-最小鲁棒组合优化问题的Julia算法
02-21
最小-最大-最小 该存储库包含用于解决本文研究的最小-最大-最小鲁棒优化问题的算法 AyşeNur Arslan，Michael Poss和Marco Silva：最小-最大-最小鲁棒组合优化，几乎没有追索权解决方案。 可在 有四种算法可用： HKW15的单石版重新，请参见函数exact_dualization() 来自的本地搜索启发式，请参见函数heuristic_dualization() 本文算法1中描述的场景生成算法，请参见函数scenario_generation() 本文算法3中描述的启发式变体，请参见函数heuristic_scenario_generation() 指导 该代码当前包含两个应用程序：最短路径问题（SP）和带冲突的背包问题（KP）。 可以通过创建相应的文件来添加其他应用程序。 要测试两个应用程序之一，请解压缩相应的数据文件，并使用julia执行相应的运
Min-Max问题
shzhqmeng的博客
08-11 1679
Problem StatementGiven a list of N integers, your task is to select K integers from the list such that its unfairness is minimized.if (x1,x2,x3,…,xk) are K numbers selected from the list N, the unfairn
MINMAX问题
杨煜冬煜杨的博客
08-01 3491
算法设计技巧与分析102页算法6.1 利用分治的思想从数组中找出最大值与最小值，时间复杂度为O(logn). 算法很简单就不多说了，直接上代码吧 /** * * @author yyd * 在(n)时间复杂度内求出某个输入数组的最大数与最小数 * */ public class MINMAX6_1 { public static Map minmax(int a[],int
min-max和max-min问题通俗的理解方法
lovehuishouzan的专栏
05-13 1万+
min-max和max-min在优化问题中比较常见，一句话说：min-max(make maximum value minimum)是为了压制优化目标中表现最突出的成分，max-min(make minimum value maximum)为了提升优化目标中表现最差的成分。为了把这两个问题作一个比较通俗的解释，方便笔者和各位读者对此问题有更直观的理解。 （一）min-max问题 先理解这个问题，借用之前看到的一个例子：考虑规划城市中急救中心或者消防中心的建造位置，目标约束函数应该是到城市中各个房屋最大距离
min-max 容斥
weixin_34183910的博客
03-03 183
$\min - \max$ 容斥 Part 1 对于简单的$\min - \max$容斥有一般形式，表达为：$\max(S)=\sum\limits_{T\subseteq S}(-1)^{|T|-1}\times \min(T)$ 对于上述式子，可以简单的理解。 对于$S$中的每一项，其中的最大值为第$i$项 由于$|T|$非空，一共有$2^{|S|}-1$个$T$，其中，对于非最大值的任意一项...
对抗样本生成算法-FGSM、I-FGSM、ILCM、PGD
热门推荐
R.I.P Kobe Bryant
10-10 2万+
对抗样本生成算法FGSM、I-FGSM、ILCM、PGD
NLP --- >对抗学习：从FGM, PGD到FreeLB
chencas的博客
12-18 8642
背景 我们知道，对抗学习能够得到更加鲁棒的神经网络结构。通过对训练样本添加一个较小的扰动，然后将其用于模型训练，能够有效地防范这类的攻击，该方法开始被提出用于自动驾驶等，后面被用于自然语言处理中，同样大幅提高模型的结果。 本篇文章提出一种新的对抗训练算法，FreeLB(Free Large-Batch)，通过对词向量添加一个对抗扰动，并且最小化添加扰动样本的损失。该方法利用了最近提出的 “free...
pgd算法
最新发布
03-12
例如，在自动驾驶领域中的感知模块测试方面可以利用PGD评估传感器融合系统的鲁棒性[^3]。此外，PGD还可以用于强化机器学习模型的安全性和稳定性检测，帮助开发者理解潜在漏洞并采取相应措施加以改进[^4]。
lingo maxmin 动态规划问题
06-05
可用该程序解maxmin的问题，运行的时候需要将代码中的路径改为自己文档的路径，可求解非线性规划，如果仅仅需要解max 或者 min。 可将>=c 这个条件去掉，直接用max 或者 min
matlab优化问题处理
04-08
学习matlab的优化问题的好资料。例如：“半无限”有约束的多元函数最优解；极小化极大（Minmax）问题；多目标规划问题。对这些常见问题都进行详细的分析、解答。
min-max-loss:（非正式）代码“最小化最大损失”
05-09
论文的非正式代码， Shalev-Schwartz和Wexler对工作的非正式执行（ICML 2016）。 概述 该代码允许使用本文中描述的采样程序在MNIST上训练ConvNet。 先决条件 Python 2.7，Tensorflow 1.3 档案文件 Tree.py：要从完整的二叉树构建和采样的类 Model.py：用于构建和训练ConvNet的类。 FOL.py：在MNIST上运行算法的类。 这个怎么运作 跑步 python download_and_process_mnist.py 下载并处理MNIST数据集，然后运行 python main.py --gpu=0 以所需的GPU索引而不是0开始训练过程。
min，max的优化
xumingyang0的博客
12-30 1679
inline int min(int a, int b) { return a & ((a - b) >> 31) | b & ( ~ (a - b) >> 31); }
min-max容斥【概念+例题解析】
lucius-liu.cn
09-05 2782
min-max容斥公式： T为S中的子集，累加符号表示要求出S中的所有子集进行计算。 max(S)： 表示S集合中出现元素的期望最大值，即所有元素全部出现时的期望。 min(T)： 表示T集合中出现元素的期望最小值，即只要出现元素即可。 证明过程如果想要了解可以自行百度，涉及二项式反演内容。 例题1【h...
min-max函数优化目标
qq_42256930的博客
06-14 664
Min-Max容斥小结
a_forever_dream的博客
03-05 747
介绍 对于一个集合 U={a1,a2,a3,...,an}U=\{a_1,a_2,a_3,...,a_n\}U={a1​,a2​,a3​,...,an​}，我想要知道其中的 max⁡\maxmax，但是很不好求，那么就可以通过Min-Max容斥转化为求出它所有子集中的 min⁡\minmin。 正题 一切的魔术来源于这个简单的式子： max⁡{U}=∑S⊆U(−1)∣S∣+1min⁡{S} \max\{U\}=\sum_{S\subseteq U} (-1)^{|S|+1} \min\{S\} max{U}
动态规划——min/max的单调性优化总结
weixin_34248023的博客
08-04 494
一般形式： $max\{min(ax+by+c,dF(x)+eG(y)+f)\},其中F(x)和G(y)是单调函数。$ 或 $min\{max(ax+by+c,dF(x)+eG(y)+f)\},其中F(x)和G(y)是单调函数。$ （以下用第一种形式讨论） (1)dF(x)随ax的增大而增大，eG(y)随by的增大而增大。 ax和by均取最大值。 (2)dF(x)随ax的增大而增大，...
对抗机器学习——Min Max模型(Towards Deep Learning Models Resistant to Adversarial Attacks)
qq_37972486的博客
03-21 887
论文讲解1 论文讲解2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值