如何设置ollama使用gpu
时间: 2025-02-13 18:15:39 浏览: 304
### 配置 Ollama 使用 GPU 加速
#### 适用环境与前提条件
对于希望利用GPU加速来优化Ollama性能的用户来说,重要的是确认所使用的硬件兼容性。具体而言,使用GPU加速仅适用于具备计算能力5.0以上的Nvidia GPU[^2]。此外,由于CUDA Toolkit专为Nvidia GPU设计,因此AMD GPU不在讨论范围内。
#### Linux环境下配置方法
在Linux环境中,为了使Ollama能够有效利用GPU资源,推荐采用官方提供的Docker镜像方式进行部署。这是因为Linux平台下要实现GPU的支持必须依赖于容器化技术[^3]。这意味着用户应当确保系统已正确安装并配置好NVIDIA Container Toolkit以便支持Docker中的GPU操作。
```bash
# 更新apt包索引
sudo apt-get update && sudo apt-get install -y ca-certificates curl gnupg lsb-release
# 添加nvidia container repository keyring
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
# 设置repository稳定版源地址
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 安装NVIDIA Container Toolkit
sudo apt-get update && sudo apt-get install -y nvidia-docker2
# 测试验证安装成功与否
sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
```
完成上述步骤后,当启动包含Ollama服务在内的任何Docker容器时,只需简单添加`--gpus=all`参数即可激活全部可用GPU设备供该容器内应用程序调用。
#### Windows环境下配置方法
针对Windows操作系统上的情况,则可以通过Docker Desktop来进行设置以启用GPU加速功能。值得注意的是,在此平台上同样需要先保证已经按照官方文档指导完成了必要的驱动程序更新及组件安装工作[^4]。接着打开Docker Desktop客户端软件,进入Settings->Resources->WSL Integration页面勾选Enable integration with my default WSL distro选项;随后前往Advanced标签页开启Experimental Features开关,并重启Docker Desktop生效更改。最后参照Linux部分说明向docker-compose.yml文件或者其他形式定义的服务描述符里加入相应的gpu相关指令片段:
```yaml
version: "3"
services:
ollama_service:
image: ollama/official_image_name
deploy:
resources:
reservations:
devices:
- capabilities: [gpu]
```
以上即是在不同操作系统之上配置Ollama借助GPU获得更好表现力的主要流程概述。
阅读全文
相关推荐


















