使用QWEN2.5-vl的function calling记录

最新推荐文章于 2025-06-15 15:15:01 发布
最新推荐文章于 2025-06-15 15:15:01 发布
阅读量546 收藏
点赞数 4
CC 4.0 BY-SA版权
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MarkAustralia/article/details/146334749

现有在公司部署好的qwen2.5-vl 72b 的大模型，想尝试一下 function calling 的调用，由于大模型是其他团队部署，现有url只支持使用post请求的方式调用大模型，无法使用openai的格式调用，在data参数中添加‘tools’参数，无法获得请求，改为functions便可以获得post的大模型的返回，但是依旧没有调用制定的函数，因为返回的response中的tool_calls是空列表，最后咨询阿里客服才发现qwen-vl模型作为调优模型，不具有function calling 的能力。。。

参考：

OpenAI微调支持function calling

如何使用 Function Calling 功能_大模型服务平台百炼(Model Studio)-阿里云帮助中心

Mark_Aussie
关注
qwen2.5 vllm推理；openai function call调用中文离线agents使用
weixin_42357472的博客
09-19 1941
参考：运行：运行调用tools报错，qwen官方说会尽快修复增加 /ai/template.jinja 文件。
基于Qwen2.5在多框架下的Function Call尝试及总结
羊城迷鹿的博客
11-13 2178
本文主要基于ollama加载的qwen2.5模型以及一套简单通用的工具定义方式，探索如何将其适配不同的框架，实现对工具的准确调用。从结果来看，Langchain-chatchat可以正常调用GPT3.5，但是无法完成qwen2.5的工具调用，Langchain-ollama可以完成qwen2.5的工具调用，但是只调用了两个工具中的一个，而Ollama和Qwen-Agent都可以满分完成工具调用任务。
Ollama Qwen2 支持 Function Calling
hawk2014bj的博客
09-06 1853
现在的模型都是支持 Tools，在 Ollama 中使用我们需要对 Template 配置，配置好 Tools 后，就可以通过 Ollama 直接进行函数调用了。
[特殊字符] Function Calling 技术详解与 Qwen 模型实践指南
欧阳七叔的博客
05-25 1094
本文介绍了FunctionCalling技术在多模态大模型中的关键作用，该技术能让AI模型生成结构化函数调用指令，实现与外部系统的交互。文章解析了两种实现方式：提示工程和指令微调，并以Qwen2.5模型为例演示了具体实现方法，包括环境配置、代码示例及预期输出格式。该技术已广泛应用于智能助手、RAG系统等场景，结合Agent框架可构建完整的交互闭环，为开发者提供了实现智能工具调用的技术基础。
如何让DeepSeek-R1-Distill-Qwen-32B支持Function calling
最新发布
xinvictory的专栏
06-15 486
deep seek-r1是不支持funciton calling调用，如果想让离线版本支持function calling，那怎么弄呢。hermes 是一种特定格式的解析器，适用于某些模型输出的结构化工具调用格式（如 Hermes 系列模型）。通过vllm0.9.1发布DeepSeek-R1-Distill-Qwen-32B大语言模型。再通过下面代码调用，发现没有返回function call。说明： 设置工具调用解析器类型。使用多少张 GPU 并行推理。
探索阿里通义千问的 Qwen2-VL：新一代视觉语言模型本地体验实战大全
m0_59235945的博客
09-27 2402
阿里通义千问的 Qwen2-VL 是一款具有强大功能和优异性能的视觉语言模型，它的发布为多模态技术的发展带来了新的机遇。无论是在视觉理解能力、多语言支持还是视觉智能体能力方面，Qwen2-VL 都表现出了卓越的性能，为各种应用场景的智能化发展提供了有力的支持。随着技术的不断发展和应用场景的不断拓展，相信 Qwen2-VL 将在未来发挥更加重要的作用。
LLM代码实现-Qwen（Function Calling）
m0_65555479的博客
09-04 1824
Function Calling 是一种让 Chat Completion 模型调用外部函数的能力，可以让模型不仅仅根据自身的数据库知识进行回答，而是可以额外挂载一个函数库，然后根据用户提问去函数库检索，按照实际需求调用外部函数并获取函数运行结果，再基于函数运行结果进行回答，或者是通过函数调用来调用工具。Qwen 官方给出的 Function Calling 方法是基于 openai 接口的，这篇文章就从如何利用 Qwen 仿 OpenAI 接口开始写起。
深入解析大语言模型的 Function Call 实现—— 以 Qwen2.5为例
qq_26610239的博客
03-15 4145
通常，大语言模型的输入输出都是字符串，但 Function Call 允许模型在对话过程中识别特定的函数调用需求，并以结构化数据格式返回调用参数。
LLM技术揭秘：Qwen的Function Calling实现解析
m0_65555479的博客
08-19 4260
Function Calling 是一种让 Chat Completion 模型调用外部函数的能力，可以让模型不仅仅根据自身的数据库知识进行回答，而是可以额外挂载一个函数库，然后根据用户提问去函数库检索，按照实际需求调用外部函数并获取函数运行结果，再基于函数运行结果进行回答，或者是通过函数调用来调用工具。Qwen 官方给出的 Function Calling 方法是基于 openai 接口的，这篇文章就从如何利用 Qwen 仿 OpenAI 接口开始写起。
ollama function call使用agent案例
weixin_42357472的博客
08-13 517
参考： https://ollama.com/blog/tool-support 运行ollama 0.3.5版本 messages = [{“role”: “user”, “content”: “What’s the time and the weather like now in Hangzhou？”}]
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-Tools助力（二）
热门推荐
以微薄之力，予他人些许温暖.
10-16 2万+
在大语言模型推理中使用工具增强模型的能力和准确性，获取实时信息，提高效率并降低计算负担
【Qwen2-VL部署实战】剖析阿里通义千问的 Qwen2-VL：新一代视觉语言模型本地实战指南
寻道AI，探索AI无限可能！
10-14 1777
阿里通义千问的 Qwen2-VL 是一款具有强大功能和优异性能的视觉语言模型，它的发布为多模态技术的发展带来了新的机遇。无论是在视觉理解能力、多语言支持还是视觉智能体能力方面，Qwen2-VL 都表现出了卓越的性能，为各种应用场景的智能化发展提供了有力的支持。随着技术的不断发展和应用场景的不断拓展，相信 Qwen2-VL 将在未来发挥更加重要的作用。
【8G显存智能助手方案：Dify＋DeepSeek R1＋Qwen2.5-1.5B-Instruct-GGUF】
ma_9624的博客
03-23 645
DeepSeek R1分类模块 接收用户输入，输出JSON格式分类标签（如{"task_type": "text_task"}）。"查询sales表中北京地区记录" → 预期输出{"task_type": "file_task"}输出：{"task_type": "text_task", "confidence": 0.92}输出：{"task_type": "file_task", "confidence": 0.96}知识库系统 支持向量检索（如BM25、FAISS），提供文本任务所需知识。
Qwen2.5-7B-Instruct vLLM 部署调用
luoganttcc的博客
12-11 1195
vLLM框架是一个高效的大语言模型vLLMKVvLLMvLLMOpenAIAPIGPUvLLM。
【Qwen2.5部署实战】深入解析Qwen2.5：新一代开源语言模型的突破与应用
寻道AI，探索AI无限可能！
10-16 7202
Qwen2.5 全系列涵盖了多个尺寸的大语言模型、多模态模型、数学模型和代码模型。这种全面的模型体系，为不同领域的应用提供了强大的支持。无论是自然语言处理任务中的文本生成、问答，还是在编程领域的代码生成与辅助，亦或是数学问题的求解，Qwen2.5 都能发挥出色的作用。每个尺寸的模型都有基础版本、指令跟随版本、量化版本，总计上架 100 多个模型，满足了用户在不同场景下的多样化需求，刷新了业界纪录。
大模型LLM | Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！（非常详细）看这一篇就够了！
Androiddddd的博客
10-10 5271
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
阿里开源大模型 Qwen-72B 私有化部署
机器学习社区
12-30 6610
近期大家都知道阿里推出了自己的开源的大模型千问72B，据说对于中文非常友好，在开源模型里面，可谓是名列前茅。千问拥有有强大的基础语言模型，已经针对多达 3 万亿个 token 的多语言数据进行了稳定的预训练，覆盖领域、语言（Qwen 模型在一系列基准数据集（）上优于类似模型大小的基线模型，这些数据集评估了模型在自然语言理解、数学方面的能力Qwen-72B 在所有任务上都比 LLaMA2-70B 取得了更好的性能，
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
xxue345678的博客
09-19 2万+
进行微调。在这里，我们将展示可直接运行的demo。
万字长文详解Qwen-agent的Function Calling（函数调用）【附实战代码】
m0_55303420的博客
05-06 1524
一文详解Qwen-agent自定义函数调用
Qwen2.5-VL 使用
03-09
### Qwen2.5-VL 使用指南 #### 安装与配置 为了顺利安装并配置 Qwen2.5-VL 模型，推荐采用虚拟环境以确保项目的独立性和稳定性[^4]。具体操作如下： 对于基于 `conda` 的环境创建命令为： ```bash conda create -n qwen2.5 python=3.8 conda activate qwen2.5 pip install transformers ``` 当准备就绪后，可以从 Hugging Face 平台获取模型权重文件。考虑到网络状况等因素的影响，可以选择通过镜像站点加速下载过程[^2]。 执行以下指令完成从 hf-mirror 下载 Qwen2.5-VL-7B-Instruct 权重的操作： ```bash HF_ENDPOINT=https://hf-mirror.com huggingface-cli download \ --repo-type model \ --local-dir Qwen2.5-VL-7B-Instruct \ --local-dir-use-symlinks False \ Qwen/Qwen2.5-VL-7B-Instruct ``` 下载完成后务必验证其完整性，这是非常重要的一步，能够有效防止因数据损坏而导致后续应用出现问题。 #### 示例代码 下面给出一段简单的 Python 代码片段用于加载已下载好的预训练模型，并尝试生成文本输出： ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("path/to/local/model/directory") model = AutoModelForCausalLM.from_pretrained("path/to/local/model/directory") input_text = "你好" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 此段代码展示了如何利用本地存储路径初始化 Tokenizer 和 Model 实例对象，并调用 generate 方法实现基础对话交互功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值