在ubuntu中安装大语言模型

### 在 Ubuntu 上安装和配置大语言模型 #### 1. 系统准备 为了成功部署大语言模型，建议使用最新的稳定版本的 Linux 发行版，例如 Ubuntu 22.04 LTS 或更高版本。确保系统的包列表是最新的，并升级现有软件包。 ```bash sudo apt-get update && sudo apt-get upgrade -y ``` #### 2. 硬件需求验证 在开始之前，确认硬件满足最低要求[^3]： - **CPU**: 多核处理器（如 Intel Xeon 或 AMD Ryzen 系列） - **GPU**: 支持 CUDA 的 NVIDIA 显卡（如 RTX 系列或 Tesla/Titan 系列），推荐至少具有 8GB VRAM。 - **内存 (RAM)**: 至少 64GB，推荐 128GB 或更多。 - **存储**: 快速 SSD，容量不低于 1TB。 #### 3. 安装 NVIDIA 驱动程序 对于配备 NVIDIA GPU 的系统，需先安装合适的显卡驱动程序以及 CUDA 和 cuDNN 库。以下是具体步骤： 1. 添加 NVIDIA 软件仓库并更新索引： ```bash sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt-get update ``` 2. 查找适合当前 GPU 的驱动版本： ```bash ubuntu-drivers devices ``` 3. 安装推荐的驱动程序： ```bash sudo apt-get install nvidia-driver-{version} ``` 4. 安装完成后重启计算机以应用更改： ```bash sudo reboot ``` 5. 验证驱动是否正常工作： ```bash nvidia-smi ``` #### 4. 安装 CUDA 和 cuDNN 下载并安装与所选驱动兼容的 CUDA 工具包和 cuDNN 库[^1]。可以通过以下方式完成： - 访问 [NVIDIA CUDA 下载页面](https://developer.nvidia.com/cuda-downloads)，选择对应的操作系统和版本。 - 将 cuDNN 文件解压到 `/usr/local/cuda` 目录下，并调整环境变量 `PATH` 和 `LD_LIBRARY_PATH`。 #### 5. Python 开发环境搭建 创建独立的 Python 虚拟环境有助于隔离依赖关系，减少冲突风险[^2]。 1. 更新系统中的 Python 及其工具链： ```bash sudo apt-get install -y python3 python3-pip ``` 2. 使用 `venv` 创建虚拟环境： ```bash python3 -m venv llm_env source llm_env/bin/activate ``` 3. 升级 `pip` 并切换至国内镜像源加快下载速度[^4]: ```bash pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install --upgrade pip ``` #### 6. 安装大语言模型及其依赖项 根据目标模型的不同，可能需要额外安装特定库文件。下面以 ChatGLM3 模型为例说明操作流程[^4]: 1. 克隆官方代码仓库： ```bash git clone {repository_url} chatglm3 cd chatglm3 ``` 2. 解决项目所需的基础依赖： ```bash pip install -r requirements.txt ``` 3. 若存在扩展功能模块，则单独处理其依赖清单： ```bash pip install -r composite_demo/requirements.txt ``` 4. 修改部分参数适配实际运行条件，比如指定 Hugging Face Hub 版本号等。 #### 7. 启动服务端口监听 最后一步是启动前端界面供用户交互访问。这里采用 Streamlit 构建可视化面板实例演示: ```bash streamlit run composite_demo/main.py --server.port 8502 ``` --- ###