ubuntu 22安装部署ollma

### 安装和部署 Ollama 模型或服务 #### 环境准备 操作系统应为 Ubuntu 22.04 LTS，确保已安装 Docker 和 Miniconda3 或 Anaconda3。对于 GPU 支持，推荐使用 NVIDIA GeForce RTX 4090 24G 或更高版本的显卡以获得最佳性能[^1]。 #### 资源需求 最低计算资源要求如下： - 至少 2 逻辑核和 4GB 内存可以运行基础功能。 - 对于 7B 模型，建议至少配备 8GB 内存以便流畅运行。 - 如果计划加载更大的模型（如 14B），则需要至少 16GB 的内存[^2]。 #### 步骤说明 ##### 1. 安装 Docker 确认系统中已经安装了最新版的 Docker Engine - Community。如果没有安装，可以通过以下命令完成安装： ```bash sudo apt update && sudo apt install -y curl curl -fsSL https://get.docker.com | sh sudo systemctl start docker sudo systemctl enable docker ``` 验证 Docker 是否正常工作： ```bash docker --version ``` 此操作应该返回当前安装的 Docker 版本号[^3]。 ##### 2. 部署 Ollama 容器 执行以下命令来启动 Ollama 容器，并将其绑定到主机端口 `11434` 上： ```bash docker run -d \ -v ollama:/root/.ollama \ -p 11434:11434 \ --name ollama \ ollama/ollama:0.1.46 ``` 这一步会下载并运行官方镜像 `ollama/ollama:0.1.46` 并挂载数据卷用于存储模型文件[^3]。 ##### 3. 测试 Ollama 安装状态 通过以下命令检查 Ollama 是否正在运行： ```bash docker ps ``` 如果看到名为 `ollama` 的容器处于活动状态，则表示安装成功[^3]。 ##### 4. 下载预训练模型 进入 Ollama 容器内部并通过 CLI 命令拉取所需模型。例如，要下载 Qwen2:7b 模型，可按照以下方式操作： ```bash docker exec -it ollama /bin/bash ollama pull qwen2:7b exit ``` 同样地，也可以尝试其他可用的大规模语言模型，比如 DeepSeek-R1-7B： ```bash docker exec -it ollama /bin/bash ollama pull deepseek-r1:7b exit ``` ##### 5. 使用模型进行推理 一旦模型被成功加载至本地缓存目录 `/root/.ollama/models` 中，就可以调用它来进行交互式对话或其他任务处理。以下是针对 DeepSeek R1-7B 模型的一个简单示例： ```bash ollama run deepseek-r1:7b ``` 此时终端界面将会切换成聊天模式，允许用户输入提示词并与 AI 展开交流互动。 --- ### 注意事项 当选用更大参数量级别的 LLMs （如 14B 或以上）时，请注意调整硬件资源配置以免因显存不足而导致程序崩溃。相比起较小尺寸变体而言，它们通常消耗更多 RAM 及 VRAM 来维持高效运作效率的同时也降低了所能承受的最大并发请求数目约百分之三十左右[^2]。