win ollama 如何跑gpu
时间: 2025-02-11 21:16:08 浏览: 97
### 配置 Ollama 在 Windows 上使用 GPU 加速
#### 安装 NVIDIA CUDA 和 cuDNN
为了使 Ollama 能够利用 GPU 加速,需要先安装适用于 Windows 的 NVIDIA CUDA Toolkit 及其配套的 cuDNN 库。这一步骤对于确保后续操作顺利至关重要[^1]。
#### 设置 Docker Desktop 并启用 WSL 2 支持
由于官方文档推荐通过 Docker 来部署 Ollama,因此需要在 Windows 中设置好 Docker Desktop,并开启对 WSL 2 (Windows Subsystem for Linux version 2)的支持。WSL 2 提供了一个更接近原生 Linux 环境的方式运行容器化应用程序,这对于依赖特定驱动程序和服务的应用尤为重要[^2]。
#### 启用并配置 NVIDIA Container Toolkit
为了让 Docker 容器能够识别到主机上的 GPU 设备,还需要安装和配置 NVIDIA Container Toolkit。虽然原始命令 `sudo apt-y nvidia-container-toolkit` 是针对 Linux 发行版设计的,但在 Windows 下可以通过 WSL 2 或者直接从 NVIDIA 官方获取对应的 Windows 版本来进行安装。
#### 创建并启动带有 GPU 访问权限的 Ollama 容器
完成上述准备工作之后,可以创建一个新的 Docker 容器来承载 Ollama 实例,并赋予该容器访问所有可用 GPU 的权利:
```bash
docker run --gpus all -d -v C:\path\to\model:/root/.ollama -p 8080:11434 --name ollama ollama/ollama
```
这里假设模型文件存放在本地磁盘路径 `C:\path\to\model` 下;端口映射部分将宿主机的 8080 端口转发给容器内的默认服务监听端口 11434。
#### 测试 GPU 是否正常工作
最后,进入正在运行中的 Ollama 容器内部执行测试命令验证 GPU 功能是否已经成功集成:
```bash
docker exec -it ollama nvidia-smi
```
如果一切正常,则应该可以看到有关已连接 GPU 设备的信息列表显示出来。
阅读全文
相关推荐


















