＜论文＞EasyEdit2：高效控制大模型行为

一、摘要

        本文介绍浙江大学发表于2025年4月的论文《EasyEdit2: An Easy-to-use Steering Framework for Editing Large Language Models》。EasyEdit2是一个简单易用的大语言模型（LLM）行为控制框架，核心是让普通人也能轻松调整模型的输出风格和内容，无需修改模型底层参数。

译文：

        在本文中，我们介绍了EasyEdit2，这是一个旨在实现即插即用式可调节性，以控制大语言模型（LLM）行为的框架。EasyEdit2支持广泛的测试时干预，包括安全性、情感倾向、个性、推理模式、事实性和语言特征。与前身不同，EasyEdit2采用了一种专门为无缝模型操控而设计的新架构。它包含诸如操控向量生成器和操控向量应用器等关键模块，这些模块能够自动生成并应用操控向量，从而在不修改模型参数的情况下影响模型行为。EasyEdit2的主要优势之一是其易用性——用户无需具备广泛的技术知识。仅需一个示例，他们就能有效地引导和调整模型的回复，使精确控制变得易于实现且高效。通过实证研究，我们报告了不同大语言模型上的模型操控性能，证明了这些技术的有效性。

二、核心创新点

        大语言模型（如 GPT、LLaMA）虽然强大，但可能生成不安全、不符合预期的内容（比如有害指令、错误事实），或者需要调整风格（如从 “中性语气” 改为 “积极语气”）。传统方法需要专业知识或修改模型参数，门槛高且麻烦。EasyEdit2 的目标则是像 “给模型吃药” 一样，在不改变模型核心的前提下，通过简单操作实时调整输出。论文的框架围绕着两个核心模块展开：导向向量生成器和导向向量应用器。EasyEdit2基于这两个核心模块，可以提供如下干预场景：

• 安全性：抵御越狱攻击、减少社会偏见、降低隐私泄露风险；
• 情感：控制情感从消极转向积极，研究模型行为与情感表达之间的关系，并在心理健康场景中保持支持性的语气；
• 个性：探索特定角色如何影响模型行为；
• 推理模式：限制推理过程的长度，平衡参数知识和上下文知识，并强化特定学科的推理结构；
• 事实性：基于导向的事实知识编辑，减轻模型幻觉，提升模型的自我验证能力；
• 语言特性：控制回复语言、格式、句法结构等；

1、导向向量生成器模块

        导向向量生成器模块使用各种方法生成导向向量，生成的向量经过整理后可以直接应用。除了使用导向向量生成器模块之外，作者还维护了一个预训练导向向量库，这些向量针对各种场景进行了优化，包括情感控制、安全性以及特定任务的行为调节，可以让用户直接应用有效的导向。

2、导向向量应用器模块

        导向向量应用器模块通过同时应用多种方法，将导向向量集成到目标模型中，支持基于提示、基于激活和基于解码的导向。一旦应用了导向方法，该模块可以返回修改后的模型，以便立即进行低代码应用，或者根据配置设置或用户提供的评估数据集，生成输出文件。为了进一步提高灵活性，作者还引入了一个向量合并模块，能够组合多个导向向量，从而实现更精细且可定制的模型导向效果。

3、超参数模块

        为了支持导向向量生成器模块和导向向量应用器模块，作者实现了一个两层的超参数管理系统。顶层是一个统一的配置文件来管理常规的设置、向量生成、向量应用和评估参数；在底层，每种导向方法都有自己的超参数文件，通常分为导向向量生成配置和导向向量应用配置。

4、数据集模块

        数据集模块对各种数据格式进行标准话，以支持导向向量生成和评估。这种设计确保了无缝集成，并允许用户通过修改配置或者直接提供结构化数据来扩展数据集，从而提高灵活性和适应性。

5、评估器模块

        评估器模块通过处理来自评估数据集的结果文件，评估由导向模型生成的输出质量。评估方法分为基于规则、基于分类器和基于LLM的方法。用户指定要评估的导向概念，并使用预设模板对输入进行格式化，然后计算各种评估指标，包括概念、指令和流畅度得分，以全面衡量导向效果。