vLLM CPU和GPU模式署和推理 Qwen2 等大语言模型详细教程

最新推荐文章于 2025-04-27 17:20:38 发布
最新推荐文章于 2025-04-27 17:20:38 发布
阅读量4k 收藏 38
点赞数 36
分类专栏： AI 文章标签： 人工智能 AI 大模型 vLLM Qwen2
转载请注明原文链接：https://ntopic.cn
本文链接：https://blog.csdn.net/obullxl/article/details/141105850
版权

老牛同学在前面文章中，介绍了不同大模型的部署和推理方式。有网友给老牛同学留言，希望老牛同学能写一篇使用 vLLM 通过 CPU 和 GPU 推理 Qwen2 等大语言模型的文章，老牛同学决定本期安排起来。

由于vLLM默认并不支持 CPU 部署和推理，为了验证和演示CPU部署和推理过程，老牛同学肝了周六 1 个晚上和周日大半天，目前都成功了。因vLLM通过CPU部署推理的文档少之又少，官网有些地方也不是很明确，导致老牛同学在执行过程中走了不少弯路。因此，老牛同学希望通过本文，能帮助大家避免踩坑和走弯路。

通过本文，老牛同学将介绍vLLM的 3 部分内容：

  1. CPU模式下，如果编译打包vLLM框架（你没有看错：CPU模式需要我们自己编译打包）
  2. 通过CPU模式，演示多种方式部署和推理Qwen2大模型（其他模型也一样）：本地模式、部署 API 服务、API 客户端、WebUI 等方式
  3. 最后，在GPU模式，简单介绍vLLM部署和推理；相比CPU环境，简单太多了，因为vLLM默认就只支持GPU环境

vLLM 官网源代码地址：https://github.com/vllm-project/vllm

vLLM 支持目前主流大模型，详细列表见官网：https://docs.vllm.ai/en/latest/models/supported_models.html

Qwen2 系列大模型在vLLM支持大模型之列，本文将详细介绍通过vLLM部署和推理Qwen2-0.5B大语言模型（之所以选择0.5B小尺寸模型，纯粹下载更快、演示更方便，其他vLLM所支持的所有大模型，其部署和推理过程完全一样，大家可以根据自己的需要选择不同的模型）

vLLM 环境准备

特别注意的是：vLLM目前只支持Linux操作系统（包括Windows WSL子系统），因此环境准备分为 2 部分：

  1. Linux 环境准备：我们的操作系统如果是Linux系统，那就无需其他操作；如果是Windows操作系统，需要首先安装和配置好WSL子系统，老牛同学就不介绍（本教程老牛同学也是用的Windows WSL Ubuntu 子系统）
  2. Python 研发环境准备：老牛默认使用Miniconda，需要安装和设置。老牛同学稍微进行介绍，大模型研发环境配置详细文档，参加老牛同学之前的文章：大模型应用研发基础环境配置（Miniconda、Python、Jupyter Lab、Ollama 等）

安装 Miniconda 包管理工具

Linux/Windows WSL系统，我们可以通过命令行完成安装：

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

Shell 上下文激活Miniconda相关命令：

~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh

source /home/obullxl/.bashrc
source /home/obullxl/.zshrc

设置 Miniconda 国内镜像

配置镜像是为了提升依赖包下载速度，老牛同学强烈建议进行配置。

Miniconda配置文件路径：~/.condarc，一般情况下配置文件不存在，我们可以创建并初始化它：conda config --set show_channel_urls yes

然后打开配置文件，设置依赖包镜像渠道：

show_channel_urls: true
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

保存配置文件，我可以查看配置是否生效：conda info

Conda配置信息

设置 Python 版本和虚拟环境

接下来，我们通过Minicodan安装 Python 虚拟环境：conda create --name vLLM python=3.10 -y

  • 虚拟环境名：vLLM
  • Python 版本：3.10

虚拟环境安装完成之后，我们激活环境：conda activate vLLM

特别注意：Python 版本号建议为3.10，老牛同学刚开始使用3.12后续过程出现不兼容问题！

下载 Qwen2 模型权重文件

接下来，我们下载Qwen2大模型权重文件，共有 3 种方式：Git 下载、SDK 下载、命令行下载（推荐：Git方式）

下载 Qwen2 模型权重文件（Git 方式）

我们将通过Git下载权重文件，因此先检测一下Git是否安装：git

若没有安装，则通过命令进行安装：sudo apt-get install git

如果想更新Git版本，则可执行命令：sudo apt-get update

同时，Qwen2模型权重文件比较大，我们需要用到 Git 大文件系统，因此需要提前安装好：

sudo apt-get install git-lfs

Git准备就绪，我们开始下载模型权重文件到本地（老牛同学目录：/home/obullxl/ModelSpace/Qwen2-0.5B）：

# 创建目录
mkdir -p ~/ModelSpace && cd ~/ModelSpace

# 下载文件
git lfs install
git clone https://www.modelscope.cn/qwen/qwen2-0.5b.git Qwen2-0.5B

下载过程中，如果因网络等原因中断，我们可以继续断点下载：

cd ~/ModelSpace/Qwen2-0.5B
git lfs pull`

下载成功之

最低0.47元/天 解锁文章
vLLM专题（二）：安装-CPU
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-16 729
vLLM 是一个 Python 库，支持以下 CPU 变体。vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务，支持的数据类型包括 FP32、FP16 和 BF16。此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 vLLM。
【大语言模型_4】源码编译vllm框架cpu版
没枕头我咋睡觉
02-20 594
1、vllm源码编译安装完成后，运行模型提示operator torchvision::nms does not exist错误。通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因为本人使用系统为uos1070e，官方提供版本较低，所以均选择源码安装。1、gcc/g++ 安装版本要求12.0版本及以上。2、 cmake版本要求3.26及以上。解决方法：安装torchvisioncpu版本。python版本：3.10。
【vLLM 学习】CPU 离线处理
最新发布
HyperAI超神经
04-27 233
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →。
LLM 部署(3)——vLLM CPU 和 GPU 模式部署大语言模型
哦豁灬
04-08 1万+
vLLM的依赖包默认支持 GPU 部署和推理，如果使用CPU推理，需要根据vLLM源代码重新编译打包。frpc_linux_amd64文件默认在 HF 上，需要通畅的网络，百度网盘。需要下载vLLM源代码，自己编译打包和安装。(如是Windows WSL子系统，可以通过。参数启用 GPU 多卡分布式并行推理能力。vLLM目前只支持Linux操作系统。命令获取 WSL 的 IP 地址)客户端的使用方法，与之前完全一样。
vLLM在只有cpu的服务器（X86_64）部署教程
jiboli123的博客
09-29 1331
另外，vLLM的CPU版本，依赖Intel的oneAPI工具，下载安装工具地址：https://www.intel.com/content/www/us/en/developer/tools/oneapi/base-toolkit-download.html。但是部署过程中，提示下面的错误即。
【vLLM 学习】使用 CPU 安装
HyperAI超神经
02-07 2556
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →vLLM 最初支持在 x86 CPU 平台上的基本模型推理和服务，数据类型为 FP32 和 BF16。
使用 vllm 本地部署 cohere 的 command-r
engchina的专栏
04-24 1179
使用 vllm 本地部署 cohere 的 command-r
vLLM使用教程【V5.0.4】
yd778473278的博客
11-21 2273
vLLM使用教程，包括vLLM相关参数说明：LLM、SamplingParams、generate、RequestOutput、RequestOutput、CompletionOutput、RequestMetrics。以及vLLM使用demo，统计执行的时间和速度
【大语言模型加速实战】使用vLLM加速Qwen2-7B模型推理
weixin_42733484的博客
10-13 1665
vLLM是一种应用于大语言模型（Large Language Model, LLM）的推理和服务引擎，具有高吞吐量、内存高效的特点。本文以Qwen2-7B为例，使用vLLM加速LLM推理过程。
transformers 推理 Qwen2.5 等大模型技术细节详解(二)AutoModel 初始化和模型加载（免费送新书）
老牛啊
10-27 2215
本文紧接前篇文章，详细讲解 transformers 初始化和加载大语言模型过程，包括 AutoConfig/Qwen2Config/AutoModelForCausalLM/Qwen2ForCausalLM/Qwen2PreTrainedModel 和 PreTrainedModel 等核心类详解……
transformers 推理 Qwen2.5 等大模型技术细节详解(一)transformers 初始化和对象加载（文末免费送书）
老牛啊
10-18 1809
本文详细讲解 transformers 推理大语言模型的初始化过程，包括 Python 包搜索、LazyModule 延迟模块、模块搜索和 Python 包 API 设计美学……
本地部署Qwen2大模型之五：vLLM与大语言模型的关系
F8_11的博客
12-27 1064
经过几天的实践探索，对大语言模型（Qwen2）及其部署工具（vLLM）有了比较清晰的了解，这里做个简单的梳理，以作备忘吧。
vLLM 部署大模型
热门推荐
哦豁灬
04-04 2万+
vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作（没错就是搞出 Vicuna 的那个 group），最大亮点是采用 Paged Attention 技术，结合 Continuous Batching，极大地优化了 realtime 场景下的 LLM serving 的 throughput 与内存使用。
【实战指南】vLLM框架安装教程：从零开始快速部署大语言模型推理加速
qq_48843534的博客
03-24 1208
在大语言模型（LLM）应用开发中，高效的推理框架至关重要。vLLM作为一款专为LLM优化的开源推理引擎，通过创新的技术可实现高达30倍的吞吐量提升。本文将手把手教你完成vLLM的完整安装流程，助你快速开启高效推理之旅！
【Qwen2部署实战】部署高效AI模型：使用vLLM进行Qwen2-7B模型推理
寻道AI，探索AI无限可能！
07-08 8318
在当今快速发展的人工智能领域，大型语言模型（LLMs）已成为推动自然语言处理（NLP）任务的关键力量。这些模型以其强大的理解和生成文本的能力而闻名，但同时也因其对计算资源的高需求而备受关注。vLLM作为一个创新的解决方案，旨在简化LLMs的部署流程，提高效率，降低资源消耗。本文将详细介绍如何利用vLLM部署Qwen2-7B模型，并探讨其在离线推理、API服务以及多卡分布式部署中的应用。
vLLM使用教程【最新版（V6.0.1.post1）】
yd778473278的博客
12-03 2008
vLLM最新版（V0.6.1.post1）beam search方式的使用教程，介绍BeamSearchParams，BeamSearchOutput，BeamSearchSequence，并给出sampling和beam search的示例程序
保姆级教程！利用vLLM部署自己的大模型（glm-4-9b-chat）
m0_54180573的博客
12-17 5290
（在JupyterLab的最下方），可以看到下图所示界面，按箭头指示复制相应命令。图24将上述复制好的命令粘贴到本地打开的命令行中运行，注意要做一些修改，具体如图25所示。左侧的是本地想使用的服务端口，右侧是服务器上的服务端口，因此我们将右侧改为8000，左侧改为5000（便于区分，可以自定义修改）。运行命令后需要输入密码，我们从图24中复制密码并粘贴输入进去，按下回车就行（注意，这里粘贴好了密码并不会显示，粘贴完按下回车键即可）。图25经过上述操作，本地就能通过5000端口直接调用模型服务了。
vllm的使用方式，入门教程
kcarly的专栏
02-27 3095
vLLM是一个强大且易于使用的推理框架，适用于多种场景。通过上述步骤，您可以快速上手并开始使用vLLM进行大语言模型推理。如果遇到问题，可以参考官方文档或社区资源进行解决。全参数微调（Full-Parameter Fine-Tuning）vLLM支持对预训练模型进行全参数微调，以适应特定任务或数据集。这种方法通过调整所有模型参数来优化性能，适用于需要大量数据和计算资源的场景。LoRA是一种高效、快速且参数效率高的微调方法，特别适用于资源有限的环境，如移动应用或边缘设备。
Qwen2-VL 视觉大模型 快速Qwen2-VL-7B-部署
02-12
### 快速部署 Qwen2-VL-7B 视觉大模型的最佳实践 #### 准备环境 为了确保顺利部署 Qwen2-VL-7B 模型，建议先安装必要的依赖工具并配置开发环境。这包括但不限于 Git LFS 以及 Python 环境设置。 ```bash git lfs install ``` 此命令用于初始化 Git Large File Storage (LFS)，这对于处理大型文件（如预训练模型权重）至关重要[^2]。 #### 获取预训练模型 通过克隆仓库来获取已经预先训练好的 Qwen2-VL-7B 模型： ```bash git clone https://www.modelscope.cn/Qwen/Qwen2-VL-7B-Instruct.git /root/sj-tmp ``` 上述代码片段展示了如何从指定 URL 下载所需资源到本地路径 `/root/sj-tmp` 中。 #### 设置推理框架 对于高效的在线推理服务构建，推荐采用 vLLM 推理库作为支撑平台之一。它能够提供高性能的同时保持较低延迟特性，非常适合于生产环境中运行大规模语言模型。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name_or_path = "/root/sj-tmp" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) device = "cuda" if torch.cuda.is_available() else "cpu" model.to(device) ``` 这段 Python 代码说明了加载 tokenizer 和 model 的过程，并将其迁移到 GPU 或 CPU 上执行进一步的任务[^3]。 #### 实现简单交互界面 为了让用户更方便地与已部署的大规模视觉语言模型互动，可以创建一个简易的 Web 应用程序接口(API)或者图形化用户界面(GUI)。这里给出基于 Flask 构建 RESTful API 的例子: ```python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/predict', methods=['POST']) def predict(): input_text = request.json.get('input') inputs = tokenizer(input_text, return_tensors="pt").to(device) outputs = model.generate(**inputs) result = tokenizer.decode(outputs[0], skip_special_tokens=True) response = {"output": result} return jsonify(response), 200 if __name__ == "__main__": app.run(host='0.0.0.0', port=8080) ``` 以上脚本定义了一个 HTTP POST 方法 '/predict' 来接收 JSON 请求体中的输入文本字符串，经过编码转换成张量形式送入模型预测后返回解码后的输出结果给客户端应用程序使用。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值