ubuntu20.04安装vllm
时间: 2025-02-16 19:11:46 浏览: 281
### 安装 VLLM 的前提条件
为了在 Ubuntu 20.04 上成功安装并配置 VLLM,需先确保系统已准备好必要的依赖项。这包括但不限于更新软件包列表以及安装 NVIDIA 驱动程序和相应的工具集。完成这些操作之后,通常建议重启系统以便新安装的驱动能够正常工作[^3]。
### 获取 vLLM ROCm Docker 镜像
接下来,在构建好适用于 vLLM 的 ROCm 版本 Docker 镜像后,可以通过特定命令来启动该镜像对应的容器实例。如果计划在容器内部署具体的模型,则应指定 `-v <path/to/model>:/app/models` 参数以实现主机目录向容器内的映射;反之,当不存在待挂载的模型时可省略此部分设置[^2]。
### 运行 vLLM 应用
对于希望进一步了解如何调用底层引擎执行具体任务的情况而言,涉及到了 `LLM._run_engine()` 方法及其后续流程中的 `_run_workers` 函数调用链路。这一过程负责协调多个工作者线程共同完成复杂的计算作业[^1]。
综上所述,以下是针对 Ubuntu 20.04 用户准备环境并部署 vLLM 所必需遵循的一系列指导:
#### 更新与重启
```bash
sudo apt update && sudo apt upgrade -y
sudo reboot
```
#### 安装Docker及相关组件(假设已经按照官方文档完成了ROCM平台搭建)
```bash
curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USER
newgrp docker
```
#### 下载并运行vLLM-ROCm镜像
```bash
docker pull vllm-rocm
docker run -it --network=host \
--group-add video --ipc=host \
--cap-add SYS_PTRACE --security-opt seccomp=unconfined \
--device /dev/kfd --device /dev/dri \
-v </path/to/your/local/model/folder>:/app/models \
vllm-rocm
```
请注意上述脚本中 `/path/to/your/local/model/folder` 处应当替换为实际存在的本地路径名称。
阅读全文
相关推荐

















