在linux上使用vllm部署deepseek
时间: 2025-03-06 18:47:24 浏览: 169
### 如何在Linux上使用vLLM部署DeepSeek
#### 准备工作
为了确保顺利安装和运行,在开始之前需确认系统满足最低硬件需求[^2]。对于基于鲲鹏CPU与NVIDIA GPU或昇腾NPU的特定配置,还需特别注意对应的驱动程序和支持库已正确安装到位[^3]。
#### 安装依赖项
针对Ubuntu系统的环境准备,建议先更新现有软件包列表,并安装必要的开发工具链以及Python环境:
```bash
sudo apt update && sudo apt upgrade -y
sudo apt install build-essential cmake git python3-pip -y
pip3 install --upgrade pip setuptools wheel
```
如果遇到CUDA版本兼容性问题,则可以通过Conda渠道获取适配版本的CUDA支持组件[^4]:
```bash
conda install cuda -c nvidia
```
#### 获取并编译vLLM源码
访问官方GitHub仓库克隆最新版vLLM项目文件夹至本地磁盘空间内;随后切换目录进入该项目根路径执行构建指令完成编译过程:
```bash
git clone https://github.com/vllm-project/vllm.git
cd vllm
make all
```
#### 配置模型参数
创建一个新的配置文件用于指定加载预训练权重的位置以及其他超参设定详情,请参照文档说明调整相应选项以适应具体应用场景的需求。
```yaml
model_name_or_path: "path/to/deepseek-r1"
use_fp16: true
max_batch_size: 8
num_beams: 4
...
```
#### 启动服务端口监听
最后一步便是启动HTTP API服务器实例以便接收来自客户端发起的任务请求处理调用。此操作可通过简单的一条命令实现自动化部署上线:
```bash
python3 serve.py --config ./configs/your_config.yaml
```
以上即是在Linux平台上借助vLLM框架成功搭建起一套完整的DeepSeek推理服务平台所需经历的主要环节概述.
阅读全文
相关推荐


















