ubuntu系统通过vllm方式部署deepseek
时间: 2025-03-05 15:47:42 浏览: 225
### Ubuntu系统中通过vLLM部署DeepSeek教程
#### 安装环境准备
为了确保顺利部署,建议先准备好如下环境:
- 系统版本:Ubuntu 20.04 或更高版本[^1]。
- Python 版本:Python 3.11 是推荐使用的版本。可以通过 Conda 创建虚拟环境来安装指定版本的 Python。
创建并激活名为 `vllm` 的Conda环境:
```bash
conda create -n vllm python=3.11
conda activate vllm
```
接着,在该环境中安装必要的软件包:
```bash
pip install vllm
```
如果遇到CUDA版本不兼容的情况,可以考虑使用NVIDIA官方渠道提供的解决方案进行修复[^2]:
```bash
conda install cuda -c nvidia
```
#### 下载模型文件
对于想要部署的具体模型(例如 Deepseek-R1-8B 或者更大规模的 DeepSeek-R1-Distill-Llama-70B),需要提前完成下载操作[^1]。
#### 启动服务并将之置于后台运行
为了让vLLM服务器能够持续稳定地提供API接口调用支持,应该采用适当的方法让其作为守护进程长期驻留在内存当中。这里给出了一种简单易行的做法——编写Shell脚本来实现这一点[^3]:
创建一个新的shell脚本文件 `start_vllm.sh` ,并向其中加入以下内容:
```bash
#!/bin/bash
# 启动 vllm 并将其放在后台执行
vllm serve DeepSeek-R1-Distill-Llama-70B --tensor-parallel-size 4 --gpu_memory_utilization 0.95 --port 6006 &
# 输出后台进程的 PID
echo "vllm server is running in the background with PID $!"
```
给这个脚本添加可执行权限,并通过它启动服务:
```bash
chmod +x start_vllm.sh
./start_vllm.sh
```
这样设置之后,即使关闭终端窗口也不会影响到已经处于后台的服务程序继续正常运作。
阅读全文
相关推荐


















