LLM - 使用 vLLM 部署 Qwen2.5-VL-32B 模型 (4卡x4090-49G) (3)

原创 已于 2025-08-19 18:27:08 修改 · 676 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LLM #vLLM #大模型部署 #4090显卡

于 2025-08-18 17:28:35 首次发布

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/150495514

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

vLLM 是生产环境的高性能大模型推理与服务框架，通过 PagedAttention 机制，将显存占用降低至 1/3，支持在单张 GPU 上并行处理长序列请求，搭配连续批处理与 CUDA 图优化，把LLM 的吞吐量提升 10–24 倍，同时保持毫秒级延迟。支持张量并行、KV 缓存量化、LoRA 插件化加载等特性，是构建可扩展、低成本大模型应用的首选工具。

vLLM

相关参考：

1. GPU 环境

Nvidia-SMI (NVIDIA System Management Interface)，NVIDIA 系统管理接口，版本号是 12.4 版本，即：

Sun Aug 17 19:07:21 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4090        On  |   00000001:08:00.0 Off |                  Off |
| 44%   28C    P8             32W /  450W |       2MiB /  49140MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 4090        On  |   00000001:0C:00.0 Off |                  Off |
| 44%   28C    P8             31W /  450W |       2MiB /  49140MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA GeForce RTX 4090        On  |   00000001:8C:00.0 Off |                  Off |
| 45%   28C    P8             30W /  450W |       2MiB /  49140MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA GeForce RTX 4090        On  |   00000001:8D:00.0 Off |                  Off |
| 30%   27C    P8             23W /  450W |       2MiB /  49140MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

NVCC (NVIDIA CUDA Compiler)，NVIDIA CUDA 编译器版本，版本号是 12.2 版本，即：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Aug_15_22:02:13_PDT_2023
Cuda compilation tools, release 12.2, V12.2.140
Build cuda_12.2.r12.2/compiler.33191640_0

vLLM 的 Docker 版本：vllm:0.8.1-1.0

2. 部署大模型

语言大模型 Qwen3-32B，使用 2卡 x 4090(49G)，启动服务，即：

vllm serve modelscope_models/Qwen/Qwen3-32B --trust-remote-code --tensor-parallel-size 2 --host 0.0.0.0 --port 9002 --served-model-name Qwen/Qwen3-32B

测试：

curl "http://localhost:9002/v1/chat/completions" -H "Content-Type: application/json" -d '{
  "model": "Qwen/Qwen3-32B",
  "messages": [
    {"role": "user", "content": "Give me a short introduction to large language models."}
  ],
  "temperature": 0.6,
  "top_p": 0.95,
  "top_k": 20,
  "max_tokens": 32768
}'

视觉语言大模型，注意 2卡 x 4090(49G)，无法启动，至少需要 4卡 x 4090(49G)，同步设置 tensor-parallel-size， 即：：

# 配置环境变量，性能更强
export TORCH_CUDA_ARCH_LIST="9.0" 
export USE_FAST=True
export VLLM_IMAGE_FETCH_TIMEOUT=20  # 处理图像时间增加至20s

vllm serve modelscope_models/Qwen/Qwen2.5-VL-32B-Instruct/ --trust-remote-code --tensor-parallel-size 4 --host 0.0.0.0 --port 9002 --served-model-name Qwen/Qwen2.5-VL-32B-Instruct --limit-mm-per-prompt "image=4"

--limit-mm-per-prompt "image=4"' 支持输入多图，默认只支持单张图像，报错如下：{"object":"error","message":"At most 1 image(s) may be provided in one request.","type":"BadRequestError","param":null,"code":400}，参考 Bug: ValueError: At most 1 image(s) may be provided in one request.

相关日志：

INFO 08-17 19:14:01 [kv_cache_utils.py:716] GPU KV cache size: 410,320 tokens
INFO 08-17 19:14:01 [kv_cache_utils.py:720] Maximum concurrency for 128,000 tokens per request: 3.21x

测试：

curl "http://localhost:9002/v1/chat/completions" -H "Content-Type: application/json" -d '{
  "model": "Qwen/Qwen2.5-VL-32B-Instruct",
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://sf-maas-uat-prod.oss-cn-shanghai.aliyuncs.com/dog.png"
          }
        },
        {
          "type": "text",
          "text": "请简要描述图片是什么内容？"
        }
      ]
    }
  ],
  "temperature": 0.7,
  "stream": false
}'

VLM 排名：https://huggingface.co/spaces/opencompass/open_vlm_leaderboard

VLM

3. 端口映射

vLLM 模型服务启动之后，端口需要映射至 根路由 /，即：

在这里插入图片描述

注意：SGLang 模型服务启动之后，端口需要映射至 访问路由 /v1/chat/completions，两者略有差别。即：

在这里插入图片描述

4. 压测报告

测试图像，901 x  668 = 601k 像素，压测图像理解能力，消耗 Tokens 如下：

{
  "prompt_tokens": 2034,
  "total_tokens": 2417,
  "completion_tokens": 383
}

对于 2个实例，每个实例 4卡 x 4090(49G)，压测性能，如下：

🎯 LLMPressTest自动化压测完成！最大承载量分析:
====================================================================================================

📊 所有测试结果:
并发数      完成请求       成功率      QPS      平均响应时间      
------------------------------------------------------------
4        20         100.0  % 0.1     20.63      s
8        32         100.0  % 0.5     15.86      s
12       48         100.0  % 0.5     17.27      s
16       64         100.0  % 0.6     18.65      s

🏆 最佳性能配置:
   并发数: 16
   QPS: 0.55
   成功率: 100.00%
   平均响应时间: 18.65s

💡 生产环境推荐配置:
   推荐并发数: 11 (最大并发的70%)
   预期QPS: 0.39
LLM - 使用 SGLang 部署 Qwen3-32B 与 Qwen2.5-VL-32B (1)
AGI
08-15 711
SGLang，即 Structured Generation Language for LLMs，用于大语言模型的结构化生成语言，是 Stanford & Berkeley 团队推出的大模型推理引擎，优势是高吞吐 + 可编程。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-Tools助力（二）
热门推荐
以微薄之力，予他人些许温暖.
10-16 2万+
在大语言模型推理中使用工具增强模型的能力和准确性，获取实时信息，提高效率并降低计算负担
在windows上使用vLLM部署Qwen2.5-VL-3B-Instruct-AWQ
Fuly的博客
07-15 1008
参考: https://blog.csdn.net/weixin_44301630/article/details/122390018。中间多有坎坷,各种缺包,各种报错, 报错丢到大模型(豆包/deepseek),通常都能出结果,注意版本兼容。windows下安装 vllm 的是要借用 WLS2,使用root账户安装。vLLM是针对linux优化的,且依赖 CUDA 工具链,需要安装CUDA。安装成功后查看CUDA 版本,不同的环境查看CUDA版本不同,看一下CUDA是否支持CUDA。环境Windows,
社区版Dify 基于vLLM部署Qwen2.5-VL系列视觉大模型与推理加速策略
weixin_44119512的博客
04-10 4447
Dify+vLLM+Qwen2.5-VL快速推理，实现Image/video Caption，视觉大模型聊天。
vLLM部署多模态大模型Qwen2.5-VL-3B-Instruct
小白的博客
05-12 2891
本文介绍了如何配置和运行Qwen2.5-VL-3B-Instruct模型。
使用 vLLM 部署 Qwen2.5 大模型
mnyh35的博客
07-07 576
本文详细介绍了Qwen2.5大模型本地部署流程，基于vLLM高性能推理引擎和OpenWebUI可视化界面。部署步骤包括：1）安装vLLM和OpenWebUI依赖；2）下载模型权重；3）配置WebUI界面代码；4）启动服务。vLLM提供高效的并行推理和内存管理，OpenWebUI支持交互式对话和参数调整。文章还提供了多GPU部署、显存不足等常见问题的解决方案，并展示了不同硬件的性能数据（RTX4090可达80-120 Token/s）。该方案使Qwen2.5大模型能在本地高效运行，适用于实时交互场景。
LLM - CentOS上离线部署Ollama+Qwen2.5-coder模型完全指南
小工匠
03-22 3600
如果没有显卡，就不要折腾了，线上服务器16Core 32G内存， 无显存。实测部署了个qwen2.5-coder 7B的模型， 对话延时400多秒…上图就是两个文件，下面就要进行模型文件合并。返回后，ollama ps （以0.5b的为例）就可以看到了（我之前看不到，以为有问题）其他的模型，也可以按照上面的方式来安装，别浪费了你的卡子， 赶紧私有化起来吧 ‘ollama 提供了丰富的命令行工具，方便用户对模型进行管理。把原来的软连接删除，上传新的，重新软连一下 即可。，即阿里云通义千问模型的第二代架构。
LLM学习笔记4——本地部署Docker、vLLM和Qwen2.5-32B-Instruct实现OpenManus的使用
qq_45848817的博客
04-24 1541
OpenManus，由 MetaGPT 团队精心打造的开源项目，于2025年3月发布。它致力于模仿并改进 Manus 这一封闭式商业 AI Agent 的核心功能，为用户提供无需邀请码、可本地化部署的智能体解决方案。换句话说，OpenManus 就像一位全能的数字助手，能够在你的本地设备上运行，随时听候差遣，完成各种复杂任务。
Qwen 发布 Qwen2.5-VL-32B 模型：更智能、更轻便​
2401_85390073的博客
03-28 992
近期Qwen 团队重磅推出了 Qwen2.5-VL-32B 模型，这一全新模型凭借其在智能程度与模型体量上的卓越表现，迅速吸引了全球 AI 研究者、开发者以及相关行业的广泛关注。它不仅代表着 Qwen 系列模型的重大突破，更为多模态人工智能的发展开辟了新的路径。一、Qwen 系列模型发展历程回顾Qwen 系列模型自诞生起，便在人工智能领域崭露头角。其前身 Qwen2.5 VL 于 2024 年 1 月发布，当时推出了 3B、7B 和 72B 三种尺寸的模型版本。
基于昇腾MindIE开箱部署Qwen2.5-VL-32B，体验更聪明的多模态理解能力
2401_87243659的博客
03-31 4198
昇腾MindIE已适配支持Qwen2.5-VL-32B-Instruct并上架魔乐社区，欢迎广大开发者下载体验！
qwen2.5-7b 部署
11-15
标题 "qwen2.5-7b 部署" 暗示本文将详细讨论关于名为 "qwen2.5-7b" 的软件或系统部署过程中的必要步骤和技术细节。从给定的文件信息来看，该部署过程涉及到一系列复杂的依赖关系和依赖文件的管理。部署所依赖的文件...
部署Qwen2.5-7b大模型详解
猛犸象
10-17 1万+
部署Qwen2.5-7b大模型详解
spnavcfg-0.3.1-1.el8.tar.gz
08-19
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
一个涵盖患者、疾病与药物关系的权威医疗 RDF 数据集
08-19
资源下载链接为： https://pan.quark.cn/s/7d4480e88650 一个涵盖患者、疾病与药物关系的权威医疗 RDF 数据集（最新、最全版本！打开链接下载即可用！）
【汽车电子电气】整车线束设计优化：从3D建模到降本增效的全流程解析及挑战应对了汽车电子电气
08-19
内容概要：本文详细阐述了汽车线束设计在整车电气系统中的重要性和设计流程。线束作为整车电子电气架构的物理实现，承担着连接ECU、传感器、执行器等模块的功能，贯穿车辆的动力、安全、智能驾驶等多个领域。文章从线束设计的核心作用、设计流程、核心挑战及降本措施四个方面展开。核心作用包括功能实现、安全保障、性能优化和成本控制；设计流程涵盖3D线束设计、电气原理设计和2D线束设计三个阶段；核心挑战涉及复杂系统集成、轻量化与成本平衡及试装验证；降本措施则通过国产化替代和设计优化来实现。 适合人群：从事汽车电子电气系统设计、开发及制造的工程师和技术人员，尤其是具备一定工作经验的研发人员。 使用场景及目标：①了解线束设计在整个汽车电气系统中的作用及其设计流程；②掌握线束设计的关键技术和挑战，如复杂系统集成、轻量化设计等；③学习如何通过国产化替代和设计优化降低成本并提高产品质量。 其他说明：本文不仅提供了详细的线束设计理论知识，还结合实际案例介绍了具体的实施路径和方法，旨在帮助读者全面理解和掌握线束设计的相关技术。阅读过程中，建议结合实际工程经验，重点关注设计流程中的关键技术点和降本措施的具体实施方案。
2007 年编写的基于 TcpClient 的 HTTP 请求库曾用于数据采集多年
最新发布
08-19
资源下载链接为： https://pan.quark.cn/s/bd476d5a4ba6 2007 年编写的基于 TcpClient 的 HTTP 请求库曾用于数据采集多年（最新、最全版本！打开链接下载即可用！）
【计算机视觉】基于立体视觉的3D目标检测框架优化：联合2D边界框与实例深度估计的高效多类别检测系统设计（含详细代码及解释）
08-19
内容概要：这篇论文提出了一种基于立体视觉的3D目标检测框架，核心创新包括直接实例深度估计方法、自适应空间特征聚合模块。该框架仅用左图像生成联合2D边界框并预测3D框中心深度，通过减弱背景点影响并整合重要实例特征，提高了3D检测的精度和效率。相比现有方法，该框架在KITTI基准测试上表现出色，实现了更高的检测精度（68.7% AP）和更快的推理速度（8.5 FPS）。论文还详细介绍了框架的核心模块实现，如实例深度估计网络、自适应空间特征聚合模块以及完整的立体3D检测框架，并通过实验验证了各模块的有效性。 适合人群：从事计算机视觉、自动驾驶或机器人领域的研究人员和技术开发者，尤其是对3D目标检测、立体视觉感兴趣的从业者。 使用场景及目标：①提高3D目标检测精度和效率；②研究立体视觉在3D检测中的应用；③探索深度估计和特征聚合的新方法；④应用于自动驾驶、机器人导航等实际场景。 其他说明：论文不仅提供了理论分析，还给出了详细的代码实现，便于读者理解和复现。该框架在KITTI数据集上进行了充分验证，证明了其在多类别3D检测任务中的优越性能。此外，论文还讨论了现有方法的局限性，并提出了针对性的解决方案。
【数据可视化】基于DIFY+南瓜树数据中台的学生成绩可视化大屏设计与实现：实时数据展示及API接口开发如何利用DIFY
08-19
内容概要：本文详细介绍了一种基于DIFY+南瓜树数据中台+小南瓜可视化大屏平台实现数据实时自动可视化的解决方案。文章首先阐述了数据实时自动可视化的重要性，如及时发现问题、辅助快速决策、提高工作效率、增强数据理解等。接着，以学生成绩大屏展示为例，逐步讲解了实现过程：1）通过可视化大屏导入Excel表格数据；2）将数据源注册到南瓜树数据中台；3）开发智能体助手，创建API服务接口供业务系统上报数据；4）开发展示大屏，通过SQL视图创建滚动列表和柱状图等图表展示数据。最后，通过调用API接口验证服务的可用性，并展示了数据成功写入后的效果。 适合人群：适用于具有一定编程基础和技术背景的开发人员、数据分析师或IT项目管理人员，特别是那些对数据可视化感兴趣的用户。 使用场景及目标：1）需要将静态数据转化为动态可视化展示的场景；2）希望通过自动化手段提升数据处理效率的企业或团队；3）期望通过直观的数据展示来辅助管理和决策的管理层。 其他说明：本文不仅提供了技术实现的具体步骤，还附带了详细的环境搭建和操作手册，确保用户可以顺利部署和使用。此外，文中提及的技术栈（如MySQL、API开发等）具有较强的通用性和扩展性，有助于读者进一步探索和应用。
vllm部署qwen2.5-vl
03-08
### 使用 VLLM 部署 Qwen2.5-VL 模型 #### 准备环境 为了顺利部署Qwen2.5-VL-7B-Instruct模型，需先安装并配置好Python开发环境以及必要的依赖库。确保已安装最新版本的`vllm`包[^2]。 ```bash pip install --upgrade vllm ``` #### 下载预训练模型 获取官方发布的Qwen2.5-VL-7B-Instruct模型文件，并将其放置于指定目录下以便后续加载使用。通常情况下可以从Hugging Face或其他公开资源站点下载这些模型权重[^1]。 #### 加载模型至内存 编写脚本来初始化VLLM引擎实例并将目标模型加载到其中： ```python from vllm import LLM, SamplingParams # 创建LLM对象 model_path = "./path/to/qwen2.5-vl-7b-instruct" llm = LLM(model=model_path) # 设置采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) ``` #### 执行推理请求 利用上述创建好的LLM实例来处理输入提示词(prompt)，从而获得由模型生成的结果回复： ```python prompt = "请描述一下今天的天气情况。" outputs = llm.generate([prompt], sampling_params=sampling_params) for output in outputs: print(output.outputs[0].text) ``` 通过以上步骤可以完成基于VLLM框架下的Qwen2.5-VL-7B-Instruct模型部署工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值