ubuntu22.04安装nvtop

### 在 Ubuntu 22.04 上安装和配置 VLLM #### 准备工作 为了成功部署 VLLM，在开始之前需要确认系统已满足以下依赖条件： 1. **NVIDIA 驱动程序与 CUDA 工具包** 确保 NVIDIA GPU 的驱动程序已经正确安装并可用。可以通过 `nvidia-smi` 命令验证其状态[^1]。如果尚未安装，可按照官方文档完成安装。 2. **Python 开发环境** 推荐使用 Python 虚拟环境来管理项目所需的依赖项。通过以下命令创建虚拟环境： ```bash python3 -m venv vllm-env source vllm-env/bin/activate ``` 3. **Docker Engine (推荐)** 对于生产环境或更复杂的场景，建议使用 Docker 来隔离运行时环境。根据引用说明，应优先考虑安装 Docker Engine 而非 Docker Desktop[^4]。以下是安装步骤的一部分摘要： ```bash sudo apt update && sudo apt upgrade -y sudo apt install -y curl apt-transport-https ca-certificates software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt update && sudo apt install docker-ce docker-ce-cli containerd.io ``` 4. **GPU 性能监控工具** 可选但强烈推荐安装 `nvtop` 或其他类似的性能监测工具以便实时查看 GPU 利用率: ```bash sudo add-apt-repository ppa:flexiondotorg/nvtop sudo apt-get update sudo apt-get install nvtop ``` --- #### 安装 VLLM 库及其依赖项 执行以下操作以克隆仓库并设置开发环境： ```bash git clone https://github.com/vllm-project/vllm.git cd vllm pip install -e . ``` 上述命令会自动解析并安装所需的所有 PyPI 包。对于特定硬件架构的支持（如 RISC-V），可能还需要额外构建 LLVM 编译器链[^2]。例如： ```bash mkdir llvm-build && cd llvm-build cmake ../llvm-source -G Ninja \ -DCMAKE_BUILD_TYPE=Release \ -DLLVM_ENABLE_PROJECTS="clang;lld" \ -DLLVM_TARGETS_TO_BUILD=RISCV \ -DCMAKE_INSTALL_PREFIX=$HOME/local/llvm-riscv ninja && ninja install export PATH="$HOME/local/llvm-riscv/bin:$PATH" ``` --- #### 启动服务端口监听 启动 VLLM REST API 或 GRPC Server 实现模型推理功能： ```python from vllm import LLM, SamplingParams # 初始化大语言模型实例 model = LLM(model="meta-llama/Llama-2-7b-hf") # 设定采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 提供输入提示词 output = model.generate(["你好世界"], sampling_params=sampling_params) for o in output: print(o.text) ``` 或者直接利用 CLI 方式测试接口连通性： ```bash curl http://localhost:8000/generate -X POST -H 'Content-Type: application/json' -d '{"prompt": "hello", "max_tokens": 50}' ``` --- #### 注意事项 - 如果遇到显存不足的情况，请尝试调整 batch size 参数。 - 当前版本仅支持部分预训练权重文件加载；需确保网络连接畅通用于下载远程资源。

### 安装和配置 UE5 和 Carla #### 创建 Anaconda Python 环境 为了确保最佳兼容性和稳定性，在 Anaconda 中创建一个新的 Python 3.10 环境[^1]: ```bash conda create -n carla_env python=3.10 conda activate carla_env ``` #### 更新包管理器并安装依赖项 更新 APT 包索引并添加必要的仓库来获取最新的编译工具链和其他必需组件: ```bash sudo apt-get update && \ sudo apt-get install wget software-properties-common && \ sudo add-apt-repository ppa:ubuntu-toolchain-r/test && \ wget -O - https://apt.llvm.org/llvm-snapshot.gpg.key | sudo apt-key add - ``` #### 解决共享库缺失问题 针对可能出现的 `libomp.so.5` 错误，提前安装对应的库文件可以预防此类错误的发生: ```bash sudo apt-get install libomp5 ``` #### 配置 Nvidia GPU 支持 对于需要调用显卡资源的情况，确认已正确安装驱动程序，并可通过以下方式验证GPU状态: ```bash sudo apt-get update sudo apt-get install nvtop ``` 这一步骤有助于排查任何潜在的图形处理单元相关的问题。 #### 下载与构建 Carla 源码版本 访问官方 GitHub 页面下载最新源代码，并按照文档指示完成编译过程。考虑到 Carla 对 Unreal Engine 的高度定制化需求，推荐直接从项目仓库拉取所需分支进行本地编译而不是简单地安装预编译好的二进制文件。 #### 关联 UE5 和 Carla 确保所使用的虚幻引擎版本匹配 Carla 所支持的具体标签或提交记录。通常情况下，Carla 提供了详细的说明指导用户如何设置开发环境以及集成特定版本的 Unreal Engine。