mac部署 vLLM
时间: 2025-02-24 14:38:10 浏览: 480
### 部署 vLLM 框架于 Mac
#### 创建虚拟环境并激活
对于项目依赖的隔离,推荐的做法是在 Python 中创建一个独立的工作空间。这可以通过如下命令来完成:
```bash
python3 -m venv vllm_env
source vllm_env/bin/activate
```
此过程建立了一个名为 `vllm_env` 的新虚拟环境,并将其激活以便后续安装所需的软件包[^2]。
#### 安装必要的库和支持工具
一旦虚拟环境被成功激活,在继续之前还需要确保已安装最新版本的 pip 和 setuptools:
```bash
pip install --upgrade pip setuptools wheel
```
接着可以根据官方文档指导安装 vLLM 及其依赖项。如果目标机器是配备 Apple Silicon 的 Mac 设备,则应考虑利用 Metal Performance Shaders (MPS) 来增强性能表现。这意味着 PyTorch 应该配置为使用 MPS 后端以获得最佳效果[^3]。
#### 使用 Conda 进行替代方案管理
另一种方法涉及 Anaconda 或 Miniconda 发行版中的 conda 工具来进行环境管理和包安装。例如,可以按照下面的方式创建一个新的环境:
```bash
conda create -n chatglm3 python=3.12.2
conda activate chatglm3
```
这种方法同样能够有效地分离不同项目的依赖关系,同时提供了一种简便的方式来处理复杂的多包需求场景[^4]。
#### 下载与配置 vLLM
最后一步是从 GitHub 或其他资源获取 vLLM 代码仓库,并遵循特定说明进行本地化调整和服务启动。通常情况下,这涉及到克隆 Git 存储库以及执行一系列 setup 脚本来准备运行时环境。
阅读全文
相关推荐

















