一个有意思的Prompt演员框架，LLMs被当成演员；提示被当成剧本；LLM输出被当成表演，o1从76%提高到87%

如何更好地设计提示词（Prompt）一直是大家关注的焦点。最近，一个独特的研究视角引起了广泛关注：将LLMs视为“演员”，将提示词视为“剧本”，将模型输出视为“表演”。

这种新颖的思维方式不仅在概念上令人耳目一新，更重要的是，它在实践中展现出了显著的效果提升，在玩《纽约时报》的单词谜题游戏“Connections”中的表现任务中，采用“方法演员”提示架构可以提高 o1-preview 完美解决谜题的百分比，从 76%提高到 87%。这种方法为我们理解和使用LLMs提供了一个全新的工具，通过将模型的输出过程视作舞台上的表演，大家能够更好地引导模型的行为，从而实现精确和连贯的回应。

一、为什么需要一个新的思维模型？

现有方法的局限

目前主流的提示工程方法主要包括：

• Chain-of-Thought（思维链）

• Tree-of-Thoughts（思维树）

• ReAct（推理与行动结合）

• Self-consistency（自一致性）

这些方法虽然各有特色，但都存在一个共同的假设：将LLM的输出视为“思维”的产物。这种假设导致了两个问题：

1. 概念模糊：什么是LLM的“思维”？这个概念本身就难以定义和把握，使得我们在面对复杂任务时难以判断和理解模型的推理逻辑。

2. 方法局限：这些方法过分关注“思维”过程，而忽略了LLM本质上是在模仿人类的语言表达。因此，当面对需要深刻理解或复杂背景的任务时，模型往往会表现出不一致或缺乏深度的现象。

演员类比的优势

将LLM比作演员有几个显著优势：

1. 概念清晰：

• 演员不需要真实体验角色的情感，只需要准确地模仿和表现。这与LLM的本质非常契合：它们并不具备真正的理解能力，而是通过海量数据学习人类的语言模式和反应。

3. 期望对齐：

• 通过将LLM看作演员，我们不再期待它们拥有“真实的思维”，而是关注它们输出的质量和一致性。通过这一视角，我们可以更明确地定义成功的标准，即模型能否在给定的场景中表现出预期的“表演”。

5. 方法指导：

• 演员在演出前会经过大量的排练和练习，提示工程师也可以通过对提示词的精心设计和调整，帮助LLM更好地进入角色。表演艺术中的一些方法论，例如如何设置场景、如何通过情感驱动角色表现等，都可以借鉴到提示词的设计中。

二、Method Actor框架详解

核心原则

1. 提示工程即编剧与导演

• 设定场景（Setting）：首先要明确模型回答问题时的背景。通过设置明确的场景，提示工程师可以为模型提供丰富的上下文，帮助它更好地理解角色所处的环境。

• 定义角色（Character）：明确模型的“角色”，这意味着为模型提供具体的身份或视角，例如专家、顾问、记者等，以帮助它更好地调节输出的风格和内容。

• 给出动机（Motivation）：设定角色的动机是什么，例如帮助用户解决具体问题，或者提供详细解释。动机能够帮助模型更加精确地把握回答的深度和方向。

• 提供舞台指示（Stage Direction）：给出明确的操作步骤或行动指示，帮助模型逐步地完成复杂的任务，确保逻辑连贯。

2. 表演需要准备

• 对于复杂任务，可以将任务分解为多个小的子任务，逐步完成。例如，如果目标是写一篇深入的文章，模型可以先生成大纲，然后分部分地写作。

• 构建渐进式表演，确保每一步都是在理解的基础上进行的，保持上下文的连贯性和一致性。

3. 复杂任务分解原则

• 将复杂任务分解为多个简单且可控的部分，并为每一部分设立清晰的验证标准，以确保每一步的结果都符合预期。

4. 补充机制

• 当模型遇到难以完成的任务时，可以设计外部验证机制，例如引入人工审阅或使用其他系统进行结果验证，确保输出的准确性和一致性。

实现方法

“方法演员”模型的核心在于将LLMs视为“演员”，而不再只是单纯的工具。这意味着模型需要更好地理解场景，解析提示，然后在“表演”中提供响应。提示工程师可以通过精细化提示——即剧本——来指导模型如何“演出”不同的角色和场景。

例如，在面对一个关于政策问题的任务时，传统的LLMs可能会仅仅依赖训练数据给出一般性的回答，而“方法演员”模型则会通过理解更深层次的提示，考虑具体的场景和关系，从而给出更为契合的回答。这样的改进不仅仅是简单的输出变化，而是涉及模型如何通过不同的提示“进入角色”。

通过这种方式，提示工程师可以更精准地设计提示，使得LLMs在不同场景中有更好的适应能力。这种方法使得LLMs像真正的演员一样，根据不同的剧本深入理解并演绎不同的角色。

三、实验案例：Connections游戏

游戏介绍

Connections是《纽约时报》推出的一个文字谜题游戏，规则如下：

• 16个单词排列在4×4网格中

• 需要找出4组单词，每组4个

• 每组单词之间有独特的联系

• 最多允许3次错误尝试

  https://connections.swellgarfo.com 这是文字谜题游戏网址，有兴趣可以玩玩。

  

实验设计

研究者设计了多组对照实验，以评估不同提示工程方法的效果：

1. 基准方法：

• Vanilla（基础提示）

• Chain-of-Thought（思维链）

• Chain-of-Thought (Scripted)（脚本化思维链）

2. Method Actor方法：

• Actor（基础演员框架）

• Actor-2（改进版演员框架）

3. 模型对比：

• GPT-4

• o1-preview

实验结果分析

性能对比

1. GPT-4测试结果：

方法	解决率	完美解决率
Vanilla	27%	12%
CoT	41%	20%
CoT-Scripted	56%	24%
Actor	78%	41%
Actor-2	86%	50%

2. o1-preview测试结果：

方法	解决率	完美解决率
Oneshot-o1	79%	72%
Vanilla-o1	100%	76%
Actor-o1	99%	87%

一些发现

1. 方法效果：

• Method Actor方法显著优于传统方法，尤其在完美解决率上表现突出，提升幅度显著。

• 与人工标注训练的结果相当，这意味着LLMs可以通过适当的提示达到接近人工的效果。

2. 模型表现：

• o1-preview整体表现优于GPT-4，说明模型的架构改进对于提升性能有直接影响。

• Method Actor框架在提升模型应对复杂场景的表现上尤为有效，尤其在完美解决率方面，表现出明显的优势。

3. 难度适应：

• 对于简单任务和复杂任务，Method Actor框架都表现出良好的泛化能力。即使任务难度增加，模型性能的下降程度也相对较小，展现了优秀的稳定性。

四、Prompt工程实践建议

提示词设计原则

1. 场景设置

scene_template = """  
背景：[具体情境]  
角色：[专业身份]  
动机：[紧迫性/重要性]  
任务：[具体目标]  
"""  

2. 角色定义

character_template = """  
专业背景：[相关领域专长]  
经验水平：[专业成就]  
特殊能力：[独特优势]  
"""  

3. 动作指示

direction_template = """  
步骤1：[具体动作]  
步骤2：[具体动作]  
...  
注意事项：[关键提醒]  
"""  

架构设计建议

1. 任务分解

• 识别关键子任务，并将任务划分为可以独立解决的小步骤，确保模型能够逐步完成任务。

• 确定任务的依赖关系，保证每一步之间的逻辑性和连贯性。

• 为每个子任务设计验证机制，确保每一步的结果是符合预期的。

2. 状态管理

• 维护任务执行过程中的上下文信息，确保模型能够保持对于当前情境的理解。

• 追踪任务的进度和结果，确保每一步的执行都符合目标要求。

• 当发生异常情况时，能够及时响应和处理，确保任务的连续性。

3. 结果验证

• 设置清晰的验证标准，对于模型生成的每一步输出进行质量检查。

• 实施多重检查，尤其是在关键节点上进行多次确认，确保模型输出的可靠性。

• 建立纠错机制，当模型出现错误时，能够及时识别并纠正，避免错误的传播。

优化策略

1. 性能优化

• 批量处理请求：尽可能将相似的请求批量处理，减少重复调用的时间和成本。

• 缓存中间结果：对一些通用的中间结果进行缓存，以便后续快速使用，减少计算开销。

• 并行化处理：对于可以并行执行的任务，采用并行处理来加快整体执行速度。

2. 质量控制

• 设置质量指标：为模型的输出设定明确的质量指标，例如准确率、连贯性等。

• 监控异常模式：实时监控模型输出中的异常模式，及时发现潜在问题。

• 持续优化策略：根据模型的表现不断调整和优化提示词，确保模型能够始终处于最佳状态。

3. 成本控制

• 优化API调用：减少不必要的API调用，优化调用频率，以控制总体成本。

• 合理设置阈值：为模型的输出设置合理的阈值，以便在保证质量的前提下减少不必要的计算。

• 平衡质量和成本：在确保输出质量的前提下，尽量降低计算资源的使用，以达到性价比最优的效果。

五、应用场景

1. 现有任务优化

• 提升准确率：在现有的任务中，通过使用Method Actor框架，可以显著提升模型的准确率。

• 降低成本：通过减少不必要的试错和API调用，降低使用LLMs的成本。

• 提高效率：优化模型在处理复杂任务时的效率，减少开发周期。

2. 新场景探索

• 创意生成：在需要创意和创新的任务中，Method Actor框架能够帮助模型生成更多有趣且富有创意的内容。

• 决策支持：在需要多维度信息整合和分析的场景中，帮助提供更为全面的决策支持。

• 教育培训：在教育和培训领域，Method Actor框架能够通过精心设计的角色和场景，提供个性化的教学和学习体验。

3. 产品集成

• 中间件：作为AI应用程序的中间层，帮助不同的系统之间进行自然语言交互。

• 开发框架：为开发者提供一个强大的框架，使他们能够快速构建和部署基于LLMs的解决方案。

“方法演员”模型为提示工程和大型语言模型的使用带来了新的视角和方法。通过将LLMs视为演员，通过精心设计的提示——剧本——来指导其行为，提示工程师能够更加有效地控制模型的输出质量和上下文契合度。这种方法显著提高了模型的推理能力，特别是在零样本推理场景中的表现。

---

六、最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】