ubuntu22.04 riscv环境安装

### 设置和配置RISC-V开发环境 #### 安装必要的依赖包 为了确保能够顺利安装并使用RISC-V工具链，在Ubuntu 22.04上需先更新软件源列表，并安装一系列必需的库文件和支持程序： ```bash sudo apt update && sudo apt upgrade -y sudo apt install build-essential git libglib2.0-dev autoconf texinfo gawk \ bison flex libncurses5-dev libexpat1-dev python3-pip zlib1g-dev -y ``` #### 下载并编译RISC-V GCC Toolchain 获取官方发布的最新版RISC-V GNU/Linux工具链源码，按照说明文档完成本地化构建过程。这里推荐采用稳定版本如GCC 13.2.0来满足特定需求[^2]。 ```bash git clone --branch riscv-binutils-gdb-13.2-release https://github.com/riscv-collab/riscv-tools.git cd riscv-tools ./configure --prefix=/opt/riscv --with-arch=rv64imafdc --with-abi=lp64d make linux -j$(nproc) ``` 此命令序列会下载所需的子模块并将它们放置到合适的位置以便后续处理。`--prefix`参数指定了最终安装路径；而`--with-arch`与`--with-abi`则定义了目标体系结构特性。 #### 配置环境变量 为了让系统识别新安装好的工具链，默认情况下需要调整shell配置文件（例如`.bashrc`），加入如下几行以永久生效： ```bash echo 'export PATH=$PATH:/opt/riscv/bin' >> ~/.bashrc source ~/.bashrc ``` 通过执行以上操作之后重启终端窗口或重新加载当前session即可使更改立即起效。 #### 测试安装成果 最后一步是验证整个流程是否顺利完成。可以尝试编译一段简单的C语言测试代码片段来看能否正常工作： ```c // hello.c #include <stdio.h> int main() { printf("Hello RISC-V!\n"); return 0; } ``` 接着利用刚刚建立起来的riscv64-linux-gnu-gcc编译器来进行实际编译动作： ```bash riscv64-linux-gnu-gcc -o hello hello.c file ./hello ``` 如果一切无误的话，则应当看到输出表明这是一个针对RISC-V架构生成的目标可执行文件。

### 在 Ubuntu 22.04 上安装和配置 VLLM #### 准备工作 为了成功部署 VLLM，在开始之前需要确认系统已满足以下依赖条件： 1. **NVIDIA 驱动程序与 CUDA 工具包** 确保 NVIDIA GPU 的驱动程序已经正确安装并可用。可以通过 `nvidia-smi` 命令验证其状态[^1]。如果尚未安装，可按照官方文档完成安装。 2. **Python 开发环境** 推荐使用 Python 虚拟环境来管理项目所需的依赖项。通过以下命令创建虚拟环境： ```bash python3 -m venv vllm-env source vllm-env/bin/activate ``` 3. **Docker Engine (推荐)** 对于生产环境或更复杂的场景，建议使用 Docker 来隔离运行时环境。根据引用说明，应优先考虑安装 Docker Engine 而非 Docker Desktop[^4]。以下是安装步骤的一部分摘要： ```bash sudo apt update && sudo apt upgrade -y sudo apt install -y curl apt-transport-https ca-certificates software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt update && sudo apt install docker-ce docker-ce-cli containerd.io ``` 4. **GPU 性能监控工具** 可选但强烈推荐安装 `nvtop` 或其他类似的性能监测工具以便实时查看 GPU 利用率: ```bash sudo add-apt-repository ppa:flexiondotorg/nvtop sudo apt-get update sudo apt-get install nvtop ``` --- #### 安装 VLLM 库及其依赖项 执行以下操作以克隆仓库并设置开发环境： ```bash git clone https://github.com/vllm-project/vllm.git cd vllm pip install -e . ``` 上述命令会自动解析并安装所需的所有 PyPI 包。对于特定硬件架构的支持（如 RISC-V），可能还需要额外构建 LLVM 编译器链[^2]。例如： ```bash mkdir llvm-build && cd llvm-build cmake ../llvm-source -G Ninja \ -DCMAKE_BUILD_TYPE=Release \ -DLLVM_ENABLE_PROJECTS="clang;lld" \ -DLLVM_TARGETS_TO_BUILD=RISCV \ -DCMAKE_INSTALL_PREFIX=$HOME/local/llvm-riscv ninja && ninja install export PATH="$HOME/local/llvm-riscv/bin:$PATH" ``` --- #### 启动服务端口监听 启动 VLLM REST API 或 GRPC Server 实现模型推理功能： ```python from vllm import LLM, SamplingParams # 初始化大语言模型实例 model = LLM(model="meta-llama/Llama-2-7b-hf") # 设定采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 提供输入提示词 output = model.generate(["你好世界"], sampling_params=sampling_params) for o in output: print(o.text) ``` 或者直接利用 CLI 方式测试接口连通性： ```bash curl http://localhost:8000/generate -X POST -H 'Content-Type: application/json' -d '{"prompt": "hello", "max_tokens": 50}' ``` --- #### 注意事项 - 如果遇到显存不足的情况，请尝试调整 batch size 参数。 - 当前版本仅支持部分预训练权重文件加载；需确保网络连接畅通用于下载远程资源。