个人笔记本尝试AI大模型,手把手教你用Ollama本地部署DeepSeek,并学会如何调用

#『AI先锋杯·14天征文挑战第一期』#

一、背景说明

作为一名深耕软件行业项目的工作者,近年来目睹了 AI 大模型领域的蓬勃发展与持续升温。从 ChatGPT 引发的全球热潮,到各类大模型产品如雨后春笋般涌现,我心中始终萦绕着对大模型的好奇:大模型究竟是什么?它的工作原理是怎样的?又能在实际场景中发挥哪些作用?为了探寻这些问题的答案,我决定从本地部署入手,亲自尝试搭建一个大模型环境,深入了解其运作机制,而 Ollama 和 DeepSeek 的组合成为了我的首选。个人笔记本配置不高,4g显存,16g内存。具体配置如下

二、准备工作

(一)安装 Ollama​

Ollama 是一款方便快捷的本地大模型管理工具,访问官网即可下载。但在安装时,路径选择至关重要。许多用户可能会遇到拉取的大模型默认安装到 C 盘的问题,对于 C 盘空间紧张或有空间焦虑的个人笔记本用户来说,这无疑是一个灾难。因此,在安装过程中,我们需要提前规划好模型的存储路径。​网上有很多设置环境变量什么的方式,发现有些不好用,有些不生效,亲测需要用命令安装,强制指定安装路径。比如你想安装到E盘,需要在下载的OllamaSetup.exe程序所在的目录下,右键在此次打开PowerShell,然后输入如下命令.\OllamaSetup.exe /DIR="E:\Ollama"

同时需要设置环境变量到指定目录,在系统变量下添加环境变量 OLLAMA_MODELS  值为E:\Ollama\.ollama

验证是否安装成功,在PowerShell窗口执行 Ollama -v,显示如下信息即表示安装成功。

(二)拉取 Ollama 模型​

在拉取模型之前,我们需要先了解大模型的基本概念。大模型是指具有庞大参数规模的深度学习模型,能够通过对大量数据的学习,具备强大的语言理解、生成和推理能力。Deepseek 是一系列性能优秀的大模型,不同的 Deepseek 模型在参数规模、应用场景和性能特点上存在一定的区别。例如,Deepseek - R1 是一款专注于代码生成和推理的模型,而 Deepseek - L1 则更擅长自然语言处理和对话任务。​至于常说的deepseek-r1:1.5b、deepseek-r1:70b等,都是不同的大小的模型,可以理解为不同的智商,即越大智商越高,越低智商越小。

具体模型可以从Ollama官网查看,其收录了市面上大部分模型

了解了模型的基本信息后,我们就可以开始拉取模型了。使用 Ollama 拉取模型非常简单,只需在命令行中输入相应的命令即可。例如,拉取 deepseek-r1:1.5b模型,命令为ollama run deepseek-r1:1.5b。这个命令的意思运行本地的“deepseek-r1:1.5b”模型,当判断本地模型没有时,Ollama会自动从官网进行拉取“deepseek-r1:1.5b”模型(刚开始部署的时候理解不了这种命令以及如何拉取的,后面了解后就很简单了,“deepseek-r1:1.5b”这个值不能错,就是对应ollama 官网中其收录的deepseek的模型名称)。在拉取过程中,Ollama 会自动下载模型文件并存储到我们之前指定的路径中(即E:\Ollama\.ollama)。

拉取模型后我们可以通过命令查看本地已经拉取的模型,命令为 Ollama list,因为我本地拉取了好几个模型,会显示如下列表

三、初步尝试

首先学会Ollama的基础命令和语法,学会直接用对话框调用它,

以 Deepseek - L1 模型为例,我们可以通过以下步骤进行对话:​

  1. 在命令行中输入ollama run deepseek-r1:1.5b,启动模型。
  2. 等待模型加载完成后,即可在命令行中输入问题或指令,模型会自动生成回答。例如,输入 "你是谁",模型会回复关于自身的基本信息。​

通过这种方式,我们可以初步体验大模型的对话能力,了解其在自然语言处理方面的表现。

四、借助界面化工具Chatbox完成跨程序调用

(一)安装 Chatbox​

Chatbox 是一款方便易用的界面化工具,能够帮助我们更直观地与大模型进行交互,并且支持跨程序调用。安装 Chatbox 的步骤如下:​

  1. 访问 Chatbox 的官方网站,下载适合自己操作系统的安装包。​
  1. 双击安装包,按照提示完成安装过程。​

(二)调用 Ollama 模型​

安装完成后,我们需要配置 Chatbox 以连接到本地的 Ollama 服务:​

  1. 启动 Ollama 的 API 服务,在命令行中输入ollama serve。​
  2. 打开 Chatbox,在设置中找到 API 连接配置选项,输入本地 Ollama 服务的地址(通常为http://localhost:11434或者是http://127.0.01:11434)。​
  3. 选择我们之前拉取的 Deepseek 模型,如 deepseek-r1:1.5b。​

配置完成后,就可以通过 Chatbox 的界面与大模型进行交互了。Chatbox 提供了更友好的用户界面,支持文本输入、历史对话查看等功能,方便我们进行更复杂的对话和任务处理。

五、其他说明

在完成 Ollama 本地部署 Deepseek 并学会基本调用之后,我还进一步研究了如何借助其他平台如 dify、AnythingLLM 来完整搭建可进行落地的实际项目。这些平台提供了更多的功能和工具,能够帮助我们将大模型应用到实际的业务场景中,如智能客服、文本生成、数据分析等。后续我会分享更多关于这些平台的使用经验和项目搭建心得,欢迎大家持续关注。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值