Ollama Docker安装

操作系统:Linux

首先你需要先安装好docker

安装

官方ollama教程

基本就是

# 拉取
docker pull ollama/ollama

#这个启动命令是对于linux操作系统，如果使用mac本地运行就要把--gpus参数去掉
# 启动
docker run -d --gpus=device=6 -v /mnt/nvme2/xuedongge/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

如果是多张卡

docker run -d --gpus '"device=5,7"' -v /mnt/nvme2/xuedongge/ollama2:/root/.ollama -p 11435:11434 --name ollama2 ollama/ollama

-d，说的是终端关掉docker也不会停止，除非手动关闭
–gpus=device=6，说的是我让docker只能看到第七张卡
-v，把容器挂在到主机的这个路径下，（主机:容器）
-p，是把容器的端口号映射到主机的端口号（主机:容器）
–name，给我们启动的容器取一个名字嘛，
ollama/ollama，就是我们要启动的容器是基于那些镜像的。

使用

可以在容器外面直接运行指令。这里就是根据Ollama官方中ollama的所有指令前面加上 docker exec -it ollama这个实际上后面加一个bash就是进入到容器里面。如果不是进入到容器里面，只是在后面增加ollama的命令就是在容器外面执行ollama命令。

docker exec -it ollama ollama pull llama3.1

列几个常用的命令好了，ollama支持模型

拉取

#拉取模型
ollama pull llama3.1

创建

创建Modelfile文件：根据现有模型增加一些参数以及template。

FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

#创建好了Modelfile以后执行一下命令
ollama gpt5 mario -f ./Modelfile

列表

# 模型列表,类似于docker images，镜像都有哪些
ollama list/ls

# 正在运行的模型有哪些,类似于docker ps
ollama ps

停止

ollama stop llama3.1

移除

ollama rm llama3.1

部署

ollama run llama3.1

WebUI

直接上一个开源的docker，参考

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main