vllm t4部署

<think>嗯，用户想知道如何在NVIDIA T4上部署VLLM。首先，我需要回忆一下VLLM的基本要求和T4的特性。T4显卡虽然不算最新，但支持计算能力7.5，而VLLM需要CUDA环境，所以安装正确的驱动和CUDA工具包是关键。用户可能已经安装了驱动，但最好确认版本是否兼容。 接下来，用户可能需要安装NVIDIA的容器工具包，比如nvidia-docker，这样在Docker环境中才能正确使用GPU。参考官方文档的话，应该需要添加仓库、安装工具包，然后重启服务。这部分需要步骤详细，避免用户遗漏。 然后是安装VLLM本身。用户可以选择pip直接安装稳定版，或者从源码安装开发版以获得最新优化。特别是对于T4这样的硬件，源码编译可能启用更多针对性的优化，提升性能。不过用户可能不太熟悉源码安装的过程，需要给出具体的git命令和安装指令。 模型部署部分，用户需要下载模型，比如DeepSeek，并配置正确的模型路径。启动服务时，使用vllm的API服务器命令，指定tensor并行度，可能要根据T4的数量调整参数。例如，4块T4的话，tensor-parallel-size设为4。同时，调整max_num_seqs和max_model_len参数可以优化显存利用率和吞吐量，但需要根据具体应用场景权衡延迟和资源使用。 性能优化方面，T4的显存较小，所以量化可能是必要的。比如使用FP16或INT8量化来减少显存占用。此外，连续批处理技术和页式显存管理也是VLLM的优势，需要确保这些功能被启用。用户可能不知道这些参数的存在，所以需要明确给出启动命令中的选项。 最后，常见问题解答也很重要。比如遇到CUDA版本不兼容，需要检查环境；模型加载失败时，确认路径和格式是否正确。引用官方文档和实战指南能增加回答的可信度，用户可能更倾向于参考权威来源。整个过程中，要确保步骤清晰，命令准确，避免用户操作时出错。</think># 部署vLLM到NVIDIA T4的完整指南 ### 一、环境准备 1. **硬件要求** - NVIDIA T4显卡（计算能力≥7.5） - 建议单卡显存≥16GB，多卡部署需启用NVLINK[^3] 2. **驱动安装** ```bash sudo apt-get install nvidia-driver-535 # 推荐最低驱动版本535 nvidia-smi # 验证驱动安装 ``` 3. **CUDA工具链** ```bash wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.104.05_linux.run sudo sh cuda_12.2.2_535.104.05_linux.run # 选择CUDA Toolkit 12.2 ``` ### 二、容器化部署（推荐） 1. **安装NVIDIA Container Toolkit** ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit[^1] ``` 2. **拉取vLLM官方镜像** ```bash docker pull nvcr.io/nvidia/pytorch:23.10-py3 docker run --gpus all -it --rm nvcr.io/nvidia/pytorch:23.10-py3 ``` ### 三、源码编译安装（可选） ```bash git clone https://github.com/vllm-project/vllm.git cd vllm && pip install -e . # 开发模式安装[^2] pip install torch==2.1.0 tensorflow==2.12.0 ``` ### 四、模型部署实战 1. **下载DeepSeek模型** ```bash git lfs install git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat ``` 2. **启动API服务** ```bash python -m vllm.entrypoints.api_server \ --model /path/to/deepseek \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.9 \ --max-num-seqs 128 \ --max-model-len 4096 ``` ### 五、性能优化配置 ```python # config.json { "quantization": "fp16", # T4支持fp16/int8量化 "batch_size": 32, "block_size": 16, "enable_chunked_prefill": true # 显存分块优化 } ``` ### 六、验证部署 ```bash curl http://localhost:8000/generate \ -d '{"prompt": "你好", "max_tokens": 50}' ```