qwen ollama推理；openai function call调用中文离线agents使用

loong_XL

已于 2025-07-30 13:36:21 修改

阅读量995

点赞数 15

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签： ollama 大模型 llm agent

于 2024-10-19 18:26:35 首次发布

本文链接：https://blog.csdn.net/weixin_42357472/article/details/143082063

深度学习专栏收录该内容

335 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

ollama 部署

qwen2.5:3b
在这里插入图片描述 0.3.11版本

qwen3 （Qwen3-30B-A3B）
https://ollama.com/library/qwen3:30b

agents使用

https://qwen.readthedocs.io/en/latest/framework/function_call.html

from openai import OpenAI
import json

def send_messages(messages):
    response = client.chat.completions.create(
        model="

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

loong_XL

关注关注

15
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

基于Qwen2.5在多框架下的Function Call尝试及总结

羊城迷鹿的博客

11-13

2215

本文主要基于ollama加载的qwen2.5模型以及一套简单通用的工具定义方式，探索如何将其适配不同的框架，实现对工具的准确调用。从结果来看，Langchain-chatchat可以正常调用GPT3.5，但是无法完成qwen2.5的工具调用，Langchain-ollama可以完成qwen2.5的工具调用，但是只调用了两个工具中的一个，而Ollama和Qwen-Agent都可以满分完成工具调用任务。

ollama function call使用agent案例

weixin_42357472的博客

08-13

524

参考： https://ollama.com/blog/tool-support 运行ollama 0.3.5版本 messages = [{“role”: “user”, “content”: “What’s the time and the weather like now in Hangzhou？”}]

参与评论您还未登录，请先登录后发表或查看评论

[特殊字符] Function Calling 技术详解与 Qwen 模型实践指南

最新发布

欧阳七叔的博客

05-25

1101

本文介绍了FunctionCalling技术在多模态大模型中的关键作用，该技术能让AI模型生成结构化函数调用指令，实现与外部系统的交互。文章解析了两种实现方式：提示工程和指令微调，并以Qwen2.5模型为例演示了具体实现方法，包括环境配置、代码示例及预期输出格式。该技术已广泛应用于智能助手、RAG系统等场景，结合Agent框架可构建完整的交互闭环，为开发者提供了实现智能工具调用的技术基础。

深入解析大语言模型的 Function Call 实现—— 以 Qwen2.5为例

qq_26610239的博客

03-15

4387

通常，大语言模型的输入输出都是字符串，但 Function Call 允许模型在对话过程中识别特定的函数调用需求，并以结构化数据格式返回调用参数。

qwen2.5 vllm推理；openai function call调用中文离线agents使用

weixin_42357472的博客

09-19

1964

参考：运行：运行调用tools报错，qwen官方说会尽快修复增加 /ai/template.jinja 文件。

ollama+autoagent操作实例

weixin_40101756的博客

05-13

956

4、安装ollama，下载模型，设置配置(ollama create <name> -f <Modelfile> )litellm litellm -model ollama/<model> 得到监听端口。5、下载litellm（pip install litellm[proxy]）在autoagent内绑定端口。1、安装显卡驱动、cuda、cudnn。2、安装anaconda、建立虚拟环境。powershell内监视显卡状态。3、安装vscode。

Ollama Qwen2 支持 Function Calling

hawk2014bj的博客

09-06

1888

现在的模型都是支持 Tools，在 Ollama 中使用我们需要对 Template 配置，配置好 Tools 后，就可以通过 Ollama 直接进行函数调用了。

【AI大模型Agent探索】深入探索实践 Qwen-Agent 的 Function Calling

寻道AI，探索AI无限可能！

07-19

4607

本文将深入探讨 Qwen-Agent 的核心特性之一——功能调用（Function Calling）。这是一种允许 AI 模型直接与外部工具和API进行交互的能力，极大地扩展了 AI 模型的应用范围。通过实际的编码实践，我们将展示如何利用这一机制，将 AI 的决策能力和外部工具的功能性紧密结合，以实现更加丰富和高效的自动化服务。

ollama教程——使用LangChain调用Ollama接口实现ReAct

walkskyer的博客

08-06

1625

简化配置：Ollama将模型权重、配置和数据捆绑在一起，从而优化了设置和配置细节。用户无需过多关注GPU使用情况，可以专注于模型的应用。易用性：安装过程相对简单，例如macOS用户可以直接从官网下载安装包并运行，而Windows用户则可以通过WSL 2以Linux方式进行安装。这种便捷性使得更多开发者能够轻松上手。支持量化：Ollama支持模型量化，这一特性可以显著降低显存要求。例如，通过4-bit量化，可以将FP16精度的权重参数压缩为4位整数精度，从而大幅减小模型权重体积和推理所需显存。

Langchain中使用Ollama提供的Qwen大模型进行Function Call实现天气查询、网络搜索

python1234567_的博客

06-17

4616

Function Call，或者叫函数调用、工具调用，是大语言模型中比较重要的一项能力，对于扩展大语言模型的能力，或者构建AI Agent，至关重要。

qwen vllm function_call

xnuscd的博客

11-08

5679

vLLM 是一个高效、易于使用的大型语言模型推理和部署库。自vLLM v0.6.0版本起，它支持工具调用（Tools Calling），允许模型在适当情况下自动解析和调用工具。本文将通过使用Qwen2.5模型的示例，介绍如何利用vLLM实现工具调用，并使用OpenAI兼容API与客户端交互。本教程涵盖了使用vLLM API实现Qwen模型的工具调用功能。通过OpenAI兼容API和Hermes风格工具解析，您可以轻松实现Qwen模型在实际场景中的功能扩展和自动工具调用。

LLM技术揭秘：Qwen的Function Calling实现解析

m0_65555479的博客

08-19

4291

Function Calling 是一种让 Chat Completion 模型调用外部函数的能力，可以让模型不仅仅根据自身的数据库知识进行回答，而是可以额外挂载一个函数库，然后根据用户提问去函数库检索，按照实际需求调用外部函数并获取函数运行结果，再基于函数运行结果进行回答，或者是通过函数调用来调用工具。Qwen 官方给出的 Function Calling 方法是基于 openai 接口的，这篇文章就从如何利用 Qwen 仿 OpenAI 接口开始写起。

ollama教程——使用Ollama与LangChain实现Function Calling(函数调用)的详细教程（二）【附完整源码】

walkskyer的博客

07-15

2379

Ollama 是一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括 GPU 使用情况，简化了在本地运行大型模型的过程。Ollama 支持 macOS 和 Linux 操作系统，并且已经为 Windows 平台发布了预览版。Ollama 的一个重要优势是其易用性。安装过程简单，例如在 macOS 上，用户可以直接从官网下载安装包并运行。对于 Windows 用户，官方推荐在 WSL 2 中以 Linux 方式使用命令安装。

LLM代码实现-Qwen（Function Calling）

m0_65555479的博客

09-04

1838

Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！

热门推荐

xxue345678的博客

09-19

2万+

进行微调。在这里，我们将展示可直接运行的demo。

基于Qwen-Agent框架的Function Call及ReAct方式调用自定义工具

羊城迷鹿的博客

11-19

1457

自定义工具比较麻烦，要严格按照下面的格式才可以，否则会提示工具没有注册的错误。description = "两个整数相乘"'description': '第一个整数','description': '第二个整数',],"""两个整数相乘"""description = "两个整数相加"'description': '第一个整数','description': '第二个整数',],"""两个整数相加"""按照以下方式接入Ollama模型的参数设置。

使用 Ollama、Llama 3.1 和 Milvus 实现Function Calling 功能

ZILLIZ

08-23

1240

将函数调用（Function Calling）与 LLM 相结合能够扩展您的 AI 应用的能力。通过将您的大语言模型（LLM）与用户定义的 Function 或 API 集成，您可以搭建高效的应用，解决实际问题。本文将介绍如何将 Llama 3.1 与 Milvus 和 API 等外部工具集成，构建具备上下文感知能力的应用。01Function Calling 简介诸如 GPT-4、Mistral...

Ollama教程——使用Ollama与LangChain实现Function Calling(函数调用)的详细教程（一）

walkskyer的博客

06-04

2961

OllamaFunctions是一个实验性的封装器，旨在为Ollama提供类似于OpenAI Functions的API接口。此封装器可以通过JSON Schema参数和函数调用参数，强制模型调用特定函数，从而实现更精确的任务处理。在开始之前，请确保已经按照Ollama的官方指南设置并运行本地的Ollama实例。通过上述步骤，我们展示了如何使用Ollama和LangChain实现函数调用任务。OllamaFunctions提供了一种强大的方法来定义和调用特定任务的函数，并返回结构化的输出。

qwen ollama部署

01-07

### 部署Qwen Ollama 对于Qwen Ollama的部署，可以借鉴Qwen系列模型的一般部署流程以及特定工具的支持。考虑到Qwen-2作为阿里巴巴集团开发的人工语言模型，在性能优化方面做了大量工作[^1]，而具体的部署操作则依赖于诸如vLLM、Open WebUI等平台支持。 #### 准备环境确保本地或云端服务器已安装Docker Desktop并完成配置，这一步骤可以通过官方文档获取详细的安装指导[^2]。 #### 获取模型文件假设已经获得了Qwen Ollama的具体版本模型文件路径 `/data/xiedong/QwenOllama` （此处仅为示例），该路径下应包含预训练好的权重和其他必要的资源文件。 #### 使用命令行启动API服务通过CLI工具来快速搭建起基于Qwen Ollama的服务端口： ```bash llamafactory-cli api \ --model_name_or_path /data/xiedong/QwenOllama \ --template qwen \ --infer_dtype bfloat16 ``` 上述命令指定了要加载的模型位置、使用的模板类型（这里选择了适用于Qwen家族成员的标准设置）以及推理过程中采用的数据精度格式——bfloat16浮点数表示法能够有效提升计算效率的同时保持较高的数值稳定性[^3]。 #### 测试接口可用性一旦API成功上线，则可通过发送HTTP请求的方式验证其正常运作情况；通常情况下会提供一个简单的测试页面或是允许直接调用RESTful风格的URL来进行交互尝试。