vllm推理如何一机多卡

### 配置一机多卡环境以实现 vLLM 模型的分布式推理 对于在单台机器上的多个 GPU 上执行 vLLM 模型的分布式推理，可以采用 `torch.nn.DataParallel` 或更推荐使用的 `torch.nn.parallel.DistributedDataParallel (DDP)` 来加速训练或推理过程。这里主要介绍基于 DDP 的方法。 为了使模型能够利用多个 GPU 并行计算，在初始化模型之后以及开始前向传播之前，需确保模型被正确加载到目标设备上，并通过 DDP 封装以便于跨多个 GPU 分布式运行[^1]。 下面是一个简单的 Python 脚本示例来展示如何设置： ```python import torch import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP from transformers import VllmModel # 假设这是你要使用的VLLM库中的类名 def setup(rank, world_size): """ 初始化进程组 """ dist.init_process_group("nccl", rank=rank, world_size=world_size) def cleanup(): """ 清理Distributed包资源 """ dist.destroy_process_group() def main(rank, world_size): setup(rank, world_size) model = VllmModel() # 实例化你的vLLM模型 # 移动模型至指定GPU device = f'cuda:{rank}' model.to(device) # 使用DistributedDataParallel封装模型 ddp_model = DDP(model, device_ids=[rank]) # 推理逻辑... cleanup() ``` 此脚本假设读者已经安装好了 PyTorch 和相应的依赖项，并且环境中已配置好 NCCL 库用于 GPU 间通信。注意这里的 `VllmModel()` 是一个占位符函数调用；实际应用时应替换为具体的 vLLM 构建方式。 此外，还需保证输入的数据也位于相同的设备之上，这样才能让 DataParallel 正常工作而不引发错误[^2]。