LLMs之Tool之ETA：通过现象看本质——探究国内外可以调用工具能力的LLM是如何实现自主选择工具的核心逻辑(本质就是以LLM作为选择的决策引擎)，以及该能力的一些思考

一个处女座的程序猿

已于 2024-07-11 23:30:40 修改

阅读量584

点赞数 4

CC 4.0 BY-SA版权

分类专栏： RAG_Agent NLP/LLMs 资深文章(前沿/经验/创新) 文章标签：大语言模型人工智能工具调用能力

于 2024-06-25 23:17:14 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_41185868/article/details/139972844

资深文章(前沿/经验/创新) 同时被 3 个专栏收录

128 篇文章 ¥299.90 ¥399.90

订阅专栏

831 篇文章

订阅专栏

146 篇文章

订阅专栏

LLMs之Tool之ETA：通过现象看本质——探究国内外可以调用工具能力的LLM是如何实现自主选择工具的核心逻辑(本质就是以LLM作为选择的决策引擎)，以及该能力的一些思考

目录

探究国内外可以调用工具能力的LLM是如何实现是否调用工具以及自主选择要调用合适工具的具体逻辑

LLM的学习目标不是next token prediction任务吗？LLM一般不都主要是做文本生成任务吗？为什么LLM本身还可以实现调用工具这样的能力？这个能力是怎么得来的？——采用指令微调带有调用工具的语料而得来

LLM调用工具的能力具体是怎么表现的？

探究具体有调用工具能力LLM的一些关键技术：训练语料、命令LLM作为决策引擎时的提示词等

LLMs之ToolAgent之ChatGLM-3：基于ChatGLM3模型构造可使用多种工具且考虑历史对的Agent实现交互式对话聊天机器人(可通过分析response来探究LLM如何理解并调用最相关工具的机制原理)——加载模型和分词器→基于工具集合和指令提示来定义一个system角色的提示文本→构建与用户进行交互的无限循环(提示用户输入+调用模型回应并更新历史对话+若响应为dict则将角色从user更新为observation+继续循环)

解读ChatGLM3如何实现—工具调用（Function Call）+代码执行（Code Interpreter）

LLMs之Tool之ChatGLM-3：解读ChatGLM3的除正常的多轮对话外的两大新功能—工具调用（Function Call）+代码执行（Code Interpreter）核心原理详解—工具调用(事先定义工具及其参数→对话触发工具调用→模型确定调用工具→推理系统实现工具调用【解析参数三法(python内置eval()函数/手动解析AST/Transformers Agents)】→模型接受反馈并总结再生成)

解读ChatGLM3如何实现—“工具调用”

LLMs之Tool之ChatGLM-3：解读ChatGLM3如何实现“工具调用”这一炸天功能(分别从ChatGLM3的源代码和训练样本数据视角)—system prompt(用户定义工具)→user prompt(用户提出问题)→assistant response(即LLM去识别是否使用工具【基于提供的工具和询问的问题】+然后判断要调用的工具函数及其入参【此处通过特殊的微调样本有加强LLM的这一能力】,包括metadata【函数名】/content【固定写死的tool_call()函数】)+system(eval函数解析参数【Function Call】或运行代码【Code Interpreter】)→observation(调用结果/dict格式)→assistant response(解析结果拼接到prompt中+LLM输出反馈【即根据综合的背景回答用户问题】)

LLMs之Tool之GLM-4：利用ChatGLM4的API实现函数工具调用(Function Call)流程实践—指定LLMs(GLM4)→挨个定义函数工具的具体实现代码以及工具函数描述集合→测试根据用户提问信息模型调用的函数是否正确(也可强制指定)→使用模型生成的参数调用函数并返回结果(根据用户需求执行函数调用返回结果，基于Prompt(定义调用函数限制描述+用户输入)传入模型得到响应【包括要调用的函数工具名】然后执行parse_function_call函数【内部综合结果以及对话历史再次调用LLMs】返回最终文本)

LLMs之GLM-4：基于langchain框架利用ChatZhipuAI的GLM-4的API接口实现对话聊天功能(基础/Streaming流式)和工具调用(基于GLM-4采用react-chat-json的prompt结合TavilySearch工具构建json_chat_agent)功能代码实战

了解本专栏

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

一个处女座的程序猿 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。