ollma方式

### 在 CentOS 7.9 上通过 Ollama 方法安装和配置 DeepSeek32B 模型 #### 系统环境准备 在开始之前，确保 CentOS 7.9 系统已更新至最新状态，并具备基础开发工具链。执行以下命令完成初步设置： ```bash sudo yum update -y sudo yum groupinstall "Development Tools" -y ``` #### 安装 Docker Ollama 提供了基于容器化的解决方案，因此需要先安装 Docker 来承载后续流程中的各项服务[^1]。 1. 添加官方 Yum 软件源： ```bash sudo tee /etc/yum.repos.d/docker.repo <<-'EOF' [docker-ce-stable] name=Docker CE Stable - $basearch baseurl=https://download.docker.com/linux/centos/$releasever/$basearch/stable enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://download.docker.com/linux/centos/gpg EOF ``` 2. 执行安装脚本并验证版本号： ```bash sudo yum install docker-ce docker-ce-cli containerd.io -y sudo systemctl enable --now docker docker version ``` #### 获取 Ollama 镜像资源 利用 Docker Pull 命令拉取远程主机上的预构建镜像文件，从而减少手动编译时间成本。 ```bash docker pull ollama/ollama:latest ``` #### 初始化 DeepSeek32B 数据集 由于目标模型体积较大，默认情况下不会随同基本映射一同附带下来。所以还需要单独指定参数触发下载动作[^2]: 1. 进入交互模式启动会话； ```bash docker run --rm -it \ -p 11434:11434 \ -v $(pwd)/models:/root/.local/share/ollama/models \ ollama/ollama serve & ``` 2. 请求特定名称对应的大型语言包体； ```bash curl http://localhost:11434/api/tags?name=deepseek&format=json | jq '.[]|.tag' -r > tags.txt cat tags.txt | grep 'deepseek-r1-32b$' || echo "Not Found" ``` 3. 若存在匹配项则继续调用实际加载接口； ```bash tag=$(cat tags.txt | head -n 1) curl -X POST -H "Content-Type: application/json" \ -d '{"model":"'$tag'", "adapters": []}' \ http://localhost:11434/api/create ``` #### 测试运行效果 最后一步便是检验整个链条是否能够正常工作。打开浏览器访问地址 `http://<server-ip>:11434` 即可见到图形化管理面板[^1]^。尝试输入几组样例句子观察返回结果质量如何。 ---