ragflow 在docker中用gpu
时间: 2025-06-20 17:17:26 浏览: 1
### 配置 RAGFlow 使用 Docker 和 GPU 运行
为了使 RAGFlow 能够在 Docker 中使用 GPU 运行,需要完成以下几个方面的设置:
#### 1. 安装 NVIDIA Container Toolkit
确保主机已经安装了支持 GPU 的必要工具。这通常涉及安装 NVIDIA 驱动程序以及 NVIDIA Container Toolkit。可以通过以下命令验证是否已正确安装并启用 CUDA 支持:
```bash
nvidia-smi
```
如果显示 GPU 设备及其状态,则说明环境准备就绪。
#### 2. 修改 `docker-compose` 文件以支持 GPU
由于官方文档中的默认文件可能未针对 GPU 做优化,可以尝试使用社区维护的 `docker-compose-gpu.yml` 文件来启动服务。此文件会自动配置容器以访问宿主机上的 GPU 资源[^1]。
编辑或创建一个新的 `docker-compose-gpu.yml` 文件,在其中加入如下内容片段作为参考:
```yaml
services:
app:
image: your_ragflow_image:latest
deploy:
resources:
reservations:
devices:
- driver: nvidia
capabilities: [gpu]
```
上述 YAML 片段指定了容器应通过 `nvidia` 驱动器保留 GPU 访问权限,并赋予其必要的能力集。
#### 3. 启用 Docker 对 GPU 的支持
确认 Docker 已经被重新加载并且能够识别到本地可用的 GPU 设备。如果之前进行了任何更改(例如更新驱动或者调整配置),则需执行以下指令刷新守护进程缓存并重启服务[^2]:
```bash
sudo systemctl daemon-reload
sudo systemctl restart docker
```
随后再次测试连接情况,确保一切正常运作。
#### 4. 执行构建与部署流程
进入项目目录下的 `ragflow/docker/` 子路径位置,依据所选好的组合方案调用相应脚本发起实例化过程[^3]。对于基于 GPU 加速版本的情况而言,默认推荐采用先前提到过的定制版 YML 文档形式来进行初始化操作。
```bash
cd ragflow/docker
docker compose -f docker-compose-gpu.yml up -d
```
以上步骤完成后,应该可以看到日志输出表明应用成功绑定到了指定硬件加速单元之上。
---
###
阅读全文
相关推荐

















