【大模型】Ollama 本地部署DeepSeek模型,并通过ChatBox调用

1.安装 Ollama

1.1.访问Ollama 官网
1.2.按照安装向导的提示完成安装。安装完成后,打开命令行输入ollama -v,若显示版本号,则说明安装成功。
1.3.对于 Windows 用户,如果想修改模型存储路径,可新建系统变量OLLAMA_MODELS来指定自定义路径。
在这里插入图片描述

2.部署本地模型

2.1.根据硬件配置选择合适的模型版本:

  • 对于 8GB 内存与集成显卡的低配设备,可选择deepseek-r1:1.5b。
  • 16GB 以上内存且有独立显卡的中高配设备,可选 7b 或 14b 版本。
  • 32GB 以上内存和高端显卡的高性能设备,可尝试 32b 或 70b 版本。

2.2.在命令行输入ollama run <model_name>来下载并运行模型,如ollama run deepseek-r1:1.5b。首次运行会自动下载模型,下载完成后可通过命令行与模型交互。
在这里插入图片描述

注:如果下载模型比较慢,可以参考:Ollama 更改镜像源,通过魔搭拉取模型

3.安装 ChatBox

访问ChatBox 官网,根据自己的系统选择对应的安装包进行下载安装。

4.配置 ChatBox

4.1.安装完成后打开 ChatBox 系统界面,点击界面左下角的设置。
4.2.选择 API 类型为 “Ollama”。
4.3.在接口地址处填写http://localhost:11434,这是 Ollama 的默认端口。
4.4.模型名称要与部署的模型版本严格一致,比如部署的是deepseek-r1:1.5b,这里就填写deepseek-r1:1.5b。
4.5.确保防火墙放行端口 11434,以免连接失败。

在这里插入图片描述

### 本地环境通过Ollama调用DeepSeek API或服务 #### 环境准备和服务端部署 为了在本地环境中使用Ollama调用DeepSeek,首先需要确保已正确安装配置好Ollama。对于Linux系统而言,可以通过执行命令`curl -fsSL https://ollama.ai/install.sh | sh`完成Ollama的安装过程[^1]。 接着,为了让其他设备能够远程访问到该服务,需编辑Ollama的服务文件以设置监听地址。这一步骤可通过运行`sudo systemctl edit ollama.service`来进行必要的修改。 #### 集成Web UI工具 推荐采用诸如Chatbox或者Open WebUI之类的前端界面工具连接至已经启动好的Ollama实例。这些工具通常只需要简单的网络配置就能工作,比如指向`http://localhost:11434`作为默认入口点去建立与后台服务器之间的通信桥梁[^2]。 #### Python客户端代码示例 除了图形化操作外,还可以利用编程方式发起请求给DeepSeek模型。下面给出了一段Python脚本用于演示如何发送消息通过API获取回复: ```python from openai import OpenAI client = OpenAI(api_key="<DeepSeek API Key>", base_url="https://api.deepseek.com") response = client.chat.completions.create( model="deepseek-chat", messages=[ {"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "Hello"} ], stream=False ) print(response.choices[0].message.content) ``` 此段代码展示了怎样初始化一个OpenAI类型的对象,指定目标URL为DeepSeek官方提供的API网关;随后构建了一个对话列表传递给创建聊天补全的方法,最终打印出由模型产生的响应文本[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值