Windows搭建docker+ollama+open-WebUI
时间: 2025-03-03 09:39:22 浏览: 62
### 配置 Docker、Ollama 和 OpenWebUI 的运行环境
#### 准备工作
确保 Windows 系统满足最低硬件和软件需求。对于 Docker Desktop,建议使用支持 Hyper-V 或 WSL 2 (Windows Subsystem for Linux 2) 的 Windows 版本[^1]。
#### 安装 Docker Desktop
下载并安装适用于 Windows 的 Docker Desktop。启动应用程序后,按照提示完成设置向导。为了使容器能够访问 GPU 资源,在 Docker 设置中的资源选项里启用 WSL 2 后端以及 CUDA 支持功能。
#### 安装 Ollama
在成功部署好 Docker 环境之后,继续安装 Ollama 组件。这通常涉及到拉取特定版本的 Ollama 镜像到本地机器上,并确保该镜像可以正确识别并利用系统的 GPU 加速能力。在此之前先验证 CUDA 是否可用是一个明智的选择,可以通过安装 `cuda-samples` 并测试来确认这一点[^2]。
#### 测试 CUDA 可用性
创建一个新的 Dockerfile 文件用于构建带有 CUDA 工具包的基础映像:
```dockerfile
FROM nvidia/cuda:11.7-base
RUN apt-get update && \
apt-get install -y --no-install-recommends \
cuda-samples-11-7 && \
rm -rf /var/lib/apt/lists/*
CMD ["bash"]
```
接着执行命令以建立此自定义映像并与之交互:
```shell
docker build -t custom-cuda-test .
docker run --gpus all -it custom-cuda-test bash
cd /usr/local/cuda/samples/1_Utilities/deviceQuery/
make
./deviceQuery
```
上述操作完成后应该能看到有关设备的信息输出,证明CUDA已经成功配置并且能被Docker容器所调用。
#### 部署 OpenWebUI
一旦确认了 Docker 和 Ollama 正常运作且具备必要的 GPU 访问权限,则可着手准备加载包含 DeepSeek-V3 模型在内的 OpenWebUI 应用程序。具体做法是从官方仓库获取最新的 OpenWebUI 映像文件,并指定所需的参数启动服务实例。由于直接集成可能较为复杂耗时,因此推荐事先查阅相关文档了解具体的依赖关系及最佳实践指南。
阅读全文
相关推荐


















