针对大模型的上下文注入攻击

       大型语言模型（LLMs）的开发和部署取得了显著进展。例如ChatGPT和Llama-2这样的LLMs，利用庞大的数据集和Transformer架构，能够产生连贯性、上下文准确性甚至具有创造性的文本。LLMs最初和本质上是为静态场景设计的，即输入数据保持不变，缺乏清晰结构。因此，在任何基于LLMs的交互式应用中，上下文信息首先需要被整合到输入中，以指导LLMs生成与上下文相关的响应，从而实现交互行为。LLMs的输出在很大程度上依赖于请求中提供的上下文。

      然而，这些模型面临着由上述实践引入的新漏洞。具体来说，来自不可信来源的误导性上下文可能导致LLMs表现出不期望的行为，例如接受它们通常会拒绝的有害请求。

在本文中我们探索上下文注入攻击，即注入虚假上下文并随后误导LLMs的行为。更具体地说，我们关注这种攻击如何绕过LLMs的安全措施以产生不允许的响应。这种响应可能带来重大的安全风险，例如错误信息的传播、非法或不道德行为以及技术滥用。

1. 1、背景

   1.1 大模型聊天模型的原理

ChatGPT聊天模型以会话方式进行交互，但它们的基础建立在大型语言模型（LLM）的原理之上。具体来说，这些模型旨在预测下一个单词或标记。因此，尽管用户感知到的是一轮又一轮的互动，但实际上聊天模型是通过继续提供文本的方式来运作的。换句话说，这些模型并没有以传统意义上“记住”聊天历史。相反，多轮对话中的每个用户请求都可以被视为与LLM的独立交互。

在实践中，开发了聊天标记语言（Chat Markup Language, ChatML）来结构化模型输入。这种结构化格式确保了模型能够以有组织的方式全面理解上下文，从而提高了文本预测和续写的准确性。

1.2 潜在威胁模型

用户与聊天模型的交互存在两种主要方法：API和WebUI访问，它们允许不同的用户能力。

2、上下文攻击

2.1 上下文攻击流程

2.1.1 上下文构造策略

接受引诱