ubuntu22.04安装vllm

### 安装 VLLM 框架 要在 Ubuntu 22.04 上成功安装 VLLM 框架，需遵循以下方法来配置环境并完成框架的部署。 #### 环境准备 确保操作系统已更新至最新状态，并安装必要的依赖项。可以运行以下命令以升级现有包并安装基础工具： ```bash sudo apt update && sudo apt upgrade -y sudo apt install -y build-essential cmake git libssl-dev python3-pip python3-venv ``` 创建一个新的 Python 虚拟环境有助于隔离项目所需的依赖关系[^1]。 ```bash python3 -m venv vllm-env source vllm-env/bin/activate pip install --upgrade pip setuptools wheel ``` #### 安装 OpenVINO 及其依赖 由于 VLLM 的实现基于 OpenVINO，因此需要先下载并设置 OpenVINO 工具套件。访问官方页面获取适合的操作系统版本，并按照指南完成安装过程。对于 Ubuntu 用户而言，推荐通过脚本自动化此流程： 执行以下命令以自动下载和配置 OpenVINO SDK： ```bash wget https://apt.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB sudo apt-key add GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB echo "deb https://apt.repos.intel.com/openvino/ all main" | sudo tee /etc/apt/sources.list.d/intel-openvino-2023.lts.list sudo apt update sudo apt install intel-openvino-runtime-devel-ubuntu22-intel64 ``` 初始化 OpenVINO 环境变量以便后续操作能够正常调用相关库文件： ```bash source /opt/intel/openvino_2023/setupvars.sh ``` #### 获取与构建 VLLM 库 克隆 VLLM GitHub 仓库到本地目录中，随后依据文档说明编译源代码或者直接利用预打包好的轮子文件简化安装体验： ```bash git clone https://github.com/vllm-project/vllm.git cd vllm pip install . ``` 如果遇到任何兼容性问题，则可能需要手动调整某些参数或切换分支尝试其他稳定版发布标签。 注意：当前仅支持大型语言模型 (LLMs)，而像 LLaVa 这样的多模态架构以及编码器-解码器结构暂时未被纳入支持范围之内。 ```python import vllm from transformers import AutoTokenizer, pipeline tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf") model = vllm.LLM(model="meta-llama/Llama-2-7b-hf", tokenizer=tokenizer) prompt = "Explain the process of photosynthesis." output = model.generate(prompt=prompt) print(output.text) ``` 上述示例展示了加载预训练权重并通过简单提示生成回复的过程。 ---