详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决

ollama 是一个开源的本地大语言模型运行框架，它提供了非常简单便捷的使用形式，让用户可以十分方便的在本地机器上部署和运行大型语言模型，从而实现免费离线的方式使用 LLM 能力，并确保私有数据的隐私和安全性。

1 ollama 安装

ollama 支持多种操作系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行。其安装、使用及模型下载非常简单，可以简单概括为以下几步：

• • 下载 ollama 安装程序并安装。

• • 启动 ollama，执行命令下载和运行模型。如：ollama run deepseek-r1:1.5b

• • 以命令行交互、API 调用、第三方应用接入等形式使用其服务。

1.1 硬件要求

ollama 本身对硬件要求并不高，主要取决于运行模型的要求。基本建议：

你应该至少有 4 GB 的 RAM 来运行 1.5B 模型，至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 的 RAM 来运行 13B 模型，以及 32 GB 的 RAM 来运行 33B 模型。

假若需要本地私有化部署具有实用性的模型，应至少有独立显卡并有 4G 以上显存。纯 CPU 模式虽然也可以运行，但生成速度很慢，仅适用于本地开发调试体验一下。

本人实测在Mac Studio 2023 版(Apple M2 Max 芯片：12核、32G内存、30核显、1TB SSD)上，运行 deepseek:1.5b 模型响应非常快，可以较为流畅的运行 deepseek-r1:32b 及以下的模型。

DeepSeek-r1 相关版本及大小参考：

1.2 Windows \ macOS \ Linux 下安装 ollama

Windows 和 macOS 用户可访问如下地址下载安装文件并安装：

• • 国内中文站下载：http://ollama.org.cn/download/

• • 官方下载：https://ollama.com/download/

• • github release 下载：https://github.com/ollama/ollama/releases/

Linux 用户可以执行如下命令一键安装：

curl -fsSL https://ollama.com/install.sh | bash

安装完成后，可以通过执行 ollama --version 命令查看 ollama 版本信息，以验证是否安装成功。

ollama 离线安装：

Windows 和 macOS 下直接复制安装文件到本地本进行安装即可。

Linux 下的离线安装主要步骤参考如下：

mkdir -p /home/ollama
cd /home/ollama

# 查看服务器 CPU 信息获取其架构，如：x86_64
lscpu

# 访问如下地址，下载对应架构的 ollama 安装包
# https://github.com/ollama/ollama/releases/
# - x86_64 CPU 选择下载 ollama-linux-amd64
# - aarch64|arm64 CPU 选择下载 ollama-linux-arm64
# 示例：
wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-amd64.tgz

# 下载 安装脚本，并放到 /home/ollama 目录下
wget https://ollama.com/install.sh

# 将 ollama-linux-amd64.tgz 和 install.sh 拷贝到需要安装的机器上，如放到 /home/ollama 目录下
# 然后执行如下命令：
tar -zxvf oll