实现流工具调用的示例及解析_怎么兼顾流式调用工具和输出对话-CSDN博客

本文链接：https://blog.csdn.net/2501_92325368/article/details/148927126

在现代AI应用中，流式处理是一个关键技术，通过允许数据逐步处理，它提高了系统的响应速度和资源使用效率。在本篇文章中，我们将重点介绍如何在流式上下文中调用工具，以实现动态数据处理。

技术背景介绍

流式调用工具使得系统能够在接收数据的同时进行处理，而不是等待所有数据到齐后再进行处理。这种方法特别适用于需要实时反应的场景，比如在线聊天机器人系统。在这种系统中，工具调用通常是异步的，允许系统连续处理输入数据并生成响应。

核心原理解析

在流式处理的上下文中，工具调用通过消息块（message chunk）进行传递并处理。每个消息块都可能包含工具调用块（ToolCallChunk），这些块包含了工具名称、参数以及工具调用的ID等信息。由于信息可能被分割到多个块中，这些字段都是可选的，并可能在不同的块中被逐步填充。

AI消息块（AIMessageChunk）继承自父消息类，并包含工具调用块以及解析的工具调用信息。这些信息帮助我们从分块的数据中重建完整的工具调用。

代码实现演示

下面我们来展示如何使用 langchain 库进行工具调用，并流式处理这些调用。

import os
from getpass import getpass
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

# 定义工具函数
@tool
def add(a: int, b: int) -> int:
    """Adds a and b."""
    return a + b

@tool
def multiply(a: int, b: int) -> int:
    """Multiplies a and b."""
    return a * b

tools = [add, multiply]

# 配置OpenAI API
os.environ["OPENAI_API_KEY"] = getpass()  # 安全获取API key

# 初始化OpenAI的聊天模型，绑定工具
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
llm_with_tools = llm.bind_tools(tools)

# 定义查询并流式处理输出
query = "What is 3 * 12? Also, what is 11 + 49?"

async for chunk in llm_with_tools.astream(query):
    print(chunk.tool_call_chunks)

# 累积工具调用块
first = True
async for chunk in llm_with_tools.astream(query):
    if first:
        gathered = chunk
        first = False
    else:
        gathered = gathered + chunk
    
    print(gathered.tool_call_chunks)
    print(gathered.tool_calls)