文章详细介绍了构建大模型Agent的六个步骤:定义工作与示例、设计标准操作流程、用提示词搭建MVP、接入数据和编排、测试迭代、部署扩展。通过邮件Agent案例,强调从简单出发,先聚焦LLM推理核心功能,再逐步扩展,持续优化。建议开发者使用LangSmith管理提示词和测试,确保Agent质量与安全。
构建一个Agent一共包括如下六个步骤:
- 定义工作和任务
- 设计操作流程
- 用提示词搭建MVP产品
- 连接数据和编排
- 测试和迭代
- 部署、扩展和精进
02 六大步骤
步骤一、通过示例定义Agent的工作
选择一些真实的并且确实需要Agent的任务,然后列出5到10个具体示例。示例是为了:
- 验证你的想法是有边界的,不至于过于繁琐和模糊
- 为后续的性能测试提供一个可对比的基准。
假如一个公认的“聪明的实习生”在足够的时间和资源的情况下,都无法实现它,那说明你想通过Agent做的工作不是很切合实际了。
以邮箱Agent示例,这一步我们要做什么?
定义Agent需要处理的任务,可能包括如下:
1、为关键干系人的邮件设置优先级
2、根据日历可用的时间来安排会议
3、忽略垃圾或者不需要回复的邮件
4、基于公司的文档回答有关产品的问题
在这一步中要避雷:
1、如果没有具体的例子,可能范围太过于宽泛
2、如果传统软件能够实现的更好(例如逻辑简单、固定,业内有好的解决方案)那就用传统软件实现。毕竟Agent更慢、更贵而且可能产生幻觉。
3、指望不存在或者无法构建的API或者数据源
步骤二、设计标准操作流程(SOP)
设计一个标准操作流程(SOP),按步骤描述是我们自己是如何完成它们的,而不是Agent。
这有助于进一步确认问题范围合理清晰,同时暴露出Agent需要的关键步骤、决策、工具。
以邮箱Agent示例,这一步我们要做什么?
设计一个逐步的流程,它可能是:
1、分析邮件内容和发件人信息来分类回复的优先级
2、检测日历,安排视频会议
3、基于邮件内容、发件人和规划时间信息起草回复内容
4、人工审核和同意后进行发送邮件
步骤三、用提示词搭建MVP
一开始做一个大而全的Agent不太现实,可以先找一个切入点完成MVP。这样可以更加明确流程怎样流转、有哪些地方需要做决策、哪里需要LLM推理。
构建MVP产品,聚焦在LLM推理(分类、决策),为此打造一个高质量的Prompt(提示词)。先不要考虑Prompt的数据来源,使用手动输入的方式先实现LLM的推理功能。
可以使用LangSmith来管理提示词、测试数据、追踪流程性能。
简单实现MVP:
- 手动输入提示词依赖的数据
- 使用步骤一的例子来进行测试
- 精力放在LLM的推理效果上,这很关键
以邮箱Agent示例,这一步我们要做什么?
聚焦在邮件的意图识别和优先级分类上,这是后续的基础。写一个只做这一件事的提示词,例如:
-
输入:
邮件内容:我们可以在下周碰面讨论关于LangChain的产品roadmap吗?
发件人:“Jeff Bezos”,职位:“CEO”
-
预期输出:
intent:“会议请求”,Urgency:“高”
调整提示词确保模型能够持续稳定的提供准确的判断。
步骤四、接入数据和编排
现在已经有了一个可以工作的提示词,可以把真实的数据接入进来了。
识别提示词需要的上下文和数据,例如邮件内容、日历、产品说明文档。并规划如何获取这些数据,如通过API还是数据库或者其它的途径,是获取后输入提示词还是由LLM进行决策。
以邮箱Agent示例,这一步我们要做什么?
假设可能用到的工具:Gmail API 读取来信、Google Calendar API 查可用时间、CRM 查询发件人信息
一个可能的编排如下:
1、新邮件自动触发Agent
2、Agent从CRM和Web检索发件人信息
3、把邮件上下文和发件人信息提供给LLM,判断意图和紧急程度及是否需要回复
4、如果需要会议,则检查并选择候选日历
5、Agent构建回复内容
6、人工审核并通过后进行发送邮件
步骤五、测试和迭代
测试质量和边界,使用步骤一定义的示例进行测试核心流程。为了方便测试,可以使用链路追踪LangSmith进行可视化流程调试。
如果示例测试没问题,可以扩展到自动测试,通常测试案例会扩充到几十个,全面评估Agent的长短板。
以邮箱Agent示例,这一步我们要做什么?
- 以程序方式跑完所有示例
- 定义自动化的成功指标 - 想清楚预期的行为和结果
- 选择性人工复核,兜底可能遗漏的问题
自动化测试需要先想清楚并量化性能标准,一个可能的测试成功标准包括:
- 语气和安全:回复专业,避免不当内容
- 意图和优先级识别:正确分类,并识别出回复的优先级
- 工具使用效率:必要时才会使用工具
- 起草回复内容质量:回复清晰并与上下文相关
步骤六、部署 扩展与精进
当MVP表现稳定可靠,再开始扩展Agent的能力以适应更多示例,甚至实现多Agent协作。每一次扩展都要经过第五步的测试,确保扩展不会影响现有的能力。
准备就绪后,可以部署到生产环境给真实的用户使用,部署后密切关注真实使用情况和效果。
以邮箱Agent示例,这一步我们要做什么?
观察并收集,真实使用的情况可以暴露一些未考虑到的场景,这样就可以持续进行迭代。之后逐步增加新的集成、优化提示词和编排流程。仍要注意,每次一的迭代都要经过第五步的测试流程。
03 最后
无论是自动化邮件分流还是编排复杂工作流,这六个步骤都提供了一条从想法落地到产生影响的实用路径。最好的 Agent 永远是在迭代中打磨出来的,从简单出发、持续优化。
最后,为了方便记忆,基于六大步骤让ChatGPT生成了一个口诀,微调后:
先例后法,抓核再编,详测而布
(例=选具体示例;法=SOP;核=MVP/Prompt;编=编排接数据;测=测试迭代;布=上线发布)
读者福利大放送:如果你对大模型感兴趣,想更加深入的学习大模型**,那么这份精心整理的大模型学习资料,绝对能帮你少走弯路、快速入门**
如果你是零基础小白,别担心——大模型入门真的没那么难,你完全可以学得会!
👉 不用你懂任何算法和数学知识,公式推导、复杂原理这些都不用操心;
👉 也不挑电脑配置,普通家用电脑完全能 hold 住,不用额外花钱升级设备;
👉 更不用你提前学 Python 之类的编程语言,零基础照样能上手。
你要做的特别简单:跟着我的讲解走,照着教程里的步骤一步步操作就行。
包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
现在这份资料免费分享给大家,有需要的小伙伴,直接VX扫描下方二维码就能领取啦😝↓↓↓
为什么要学习大模型?
数据显示,2023 年我国大模型相关人才缺口已突破百万,这一数字直接暴露了人才培养体系的严重滞后与供给不足。而随着人工智能技术的飞速迭代,产业对专业人才的需求将呈爆发式增长,据预测,到 2025 年这一缺口将急剧扩大至 400 万!!
大模型学习路线汇总
整体的学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战,跟着学习路线一步步打卡,小白也能轻松学会!
大模型实战项目&配套源码
光学理论可不够,这套学习资料还包含了丰富的实战案例,让你在实战中检验成果巩固所学知识
大模型学习必看书籍PDF
我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。
大模型超全面试题汇总
在面试过程中可能遇到的问题,我都给大家汇总好了,能让你们在面试中游刃有余
这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
👉获取方式:
😝有需要的小伙伴,可以保存图片到VX扫描下方二维码免费领取【保证100%免费】
相信我,这套大模型系统教程将会是全网最齐全 最适合零基础的!!