**Adversarial Demonstration Attacks on Large Language Models**

提出advICL,操控示例demonstration不改变输入,误导模型。发现对抗性示例增加,icl的鲁棒性降低。

提出Transferable advICL,Transferable advICL生成的对抗示例可以攻击未见过的测试输入样例。

如图,标准攻击:仅操纵输入文本示例来执行攻击。

advICL攻击演示demonstration,而不操纵输入文本。

In-Context Learning

C(demonstration集)包含N个连接的数据标签对(xi, yi),特定模板s ,最优任务指令 I
C = {I, s(x1, y1), ..., s(xN , yN )}

f语言模型,Ytest 基于 输入测试Xtest 和 演示集C 生成 ,
ytest = fgenerate({C, s(xtest, _ )})

S (xtest, _)使用与演示demonstration相同的模板s,但ytest为空

(ytest集)label集Y = {c1,…, ck}。

函数V:将原始label ck映射为特定的令牌V(ck)。

如,V(positive)→positive

不是所有的标签

### 对齐语言模型中的普遍且可转移对抗攻击研究与实现 #### 研究背景 对齐的语言模型(LLM)在自然语言处理领域取得了显著进展,然而其安全性也受到了广泛关注。研究表明,在这些强大的模型中可能存在漏洞,使得恶意用户能够利用特定输入触发不期望的行为[^1]。 #### 攻击方法概述 一种有效的策略被称为“普遍多提示和多模型攻击”,该技术旨在找到一组适用于多个不同架构下的预训练大模型的通用扰动向量。具体来说,采用了一种名为Greedy Coordinate Gradient-based Search (GCG) 的算法来寻找最优解路径,从而生成可以诱导目标模型给出肯定答复的对抗样例[^2]。 #### 实验验证 为了证明所提方案的有效性,研究人员选择了两个开源大型语言模型——Viccuna-7B 和 LLaMA-2-7B-Chat 进行了一系列实验。结果显示 GCG 方法不仅能在单一实例上取得良好效果,而且当试图构建一个能作用于多种行为模式下所有受害者的统一提示时同样表现出色。特别是在行为测试集中获得了较高的攻击成功率(Attack Success Rate, ASR),这表明此类模型内部确实存在着潜在的安全隐患[^3]。 #### 跨模型迁移能力分析 除了考察单个模型内的性能外,还特别关注了由某一个源模型产生的对抗样本能否成功欺骗其他未见过的目标模型的能力。这种特性通常称为“非定向攻击”的迁移性。通过对比不同情况下得到的结果发现,较低的成功识别比例反而说明了更强的跨平台适用性和鲁棒性[^4]。 ```python def generate_adversarial_example(model, input_text): """ 使用GCG算法生成针对给定模型的对抗样本 参数: model: 目标语言模型对象 input_text: 原始输入文本 返回: adv_input: 经过微调后的对抗性输入文本 """ # 初始化参数... while not stop_condition_met(): # 计算梯度方向并更新候选词表... pass return final_adv_input if __name__ == "__main__": from some_library import load_model viccuna = load_model('viccuna') llama_chat = load_model('llama-chat') example_sentence = "The weather is nice today." adv_viccuna = generate_adversarial_example(viccuna, example_sentence) print(f"Adversarial Example for Viccuna: {adv_viccuna}") adv_llama = generate_adversarial_example(llama_chat, example_sentence) print(f"Adversarial Example for LLAMA Chat: {adv_llama}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值