ubuntu部署ollama用GPU跑

### 配置 Ollama 使用 GPU 加速 要在 Ubuntu 系统中配置 Ollama 使用 GPU 加速，需完成以下几个方面的设置：NVIDIA 驱动程序安装、CUDA 工具包配置以及启用 Ollama 的 GPU 支持。 #### 安装 NVIDIA 驱动程序 为了使 GPU 能够被识别并用于加速计算，首先需要安装适合的 NVIDIA 显卡驱动。以下是具体操作： 1. 添加 NVIDIA APT 源： ```bash curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list ``` 2. 更新软件包列表并安装驱动： ```bash sudo apt update sudo apt install nvidia-driver-530 ``` 确认驱动已成功安装并通过命令 `nvidia-smi` 查看显卡状态[^3]。 #### 安装 CUDA 工具包 Ollama 利用 CUDA 来执行高效的矩阵运算。因此，在安装好 NVIDIA 驱动之后，还需要安装 CUDA 工具包及其依赖项。 1. 下载官方 CUDA 套件： 访问 NVIDIA CUDA Toolkit 页面下载适用于当前系统的版本，并按照说明进行安装。 2. 设置环境变量以便于后续调用： 编辑 `.bashrc` 文件加入如下路径定义： ```bash export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH ``` 验证安装是否正常工作可以尝试编译运行简单的测试样例[^2]。 #### 启用 Ollama 的 GPU 功能 当硬件层面准备就绪后，最后一步就是让 Ollama 实际上能够检测到可用的 GPU 设备并将它们纳入考虑范围之内来进行模型推断处理流程当中去。 启动服务之前，请先确保已经拉取最新镜像文件并且指定参数允许访问本地设备上的图形处理器资源池作为目标计算单元之一[^1]: ```bash ollama run deepseek-r1 --gpu ``` 这样就可以充分利用 GPU 提供的强大算力来加快大型语言模型的操作过程了！ ---