docker ollama
时间: 2025-02-06 22:13:59 浏览: 52
### 如何在 Docker 中使用 Ollama
#### 创建和启动 Ollama Web UI 容器
为了创建并启动带有 Ollama 的 Docker 容器,命令如下所示:
```bash
docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway \
--name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
```
这条指令会拉取最新的 `ghcr.io/ollama-webui/ollama-webui` 镜像,并以后台守护进程的方式运行它,在主机上开放端口 8080 映射到容器内的相同端口[^2]。
#### 下载并执行 AI 模型
一旦 Ollama 已经通过 Docker 成功部署完毕,则可以通过下面的命令进入正在运行的容器内部环境,并指定想要使用的预训练模型名称来加载该模型:
```bash
docker exec -it ollama ollama run llama3:8b
```
此命令假设已经有一个名为 "ollama" 的容器实例存在,并尝试在其上下文中调用 `ollama run` 命令以启动特定版本的大规模语言处理模型——在这个例子中是 LLaMA 架构下的 8B 参数量级变体。
#### 利用 Docker Compose 进行更复杂的配置
对于那些希望进一步定制其设置的人而言,还可以考虑采用 Docker Compose 文件来进行多服务应用定义。这通常涉及到编写 YAML 格式的描述文档,其中指定了各个组件之间的依赖关系和服务属性。例如,如果打算构建一个包含多个微服务的应用程序架构,那么利用这种方式将会更加方便管理整个系统的生命周期[^3]。
#### 支持 GPU 加速 (可选)
当目标硬件具备 NVIDIA 图形处理器时,用户可以选择启用 GPU 来加速计算密集型任务。为此目的而准备的前提条件之一就是事先完成 Nvidia Container Toolkit 的安装工作;之后便可以在启动参数里加入相应的选项以便让 Docker 能够识别可用的图形资源[^4]。
阅读全文
相关推荐


















