DeepSeek本地运行全流程解析,企业私有化,数据安全、降本增效双搞定!含ollama命令聊天、chatbox界面聊天效果(AI实战系列,保姆级教程)

【背景概述】

前两年,国内大语言模型(Large Language Model,简称LLM)还相对落后,那时由于各种限制,使用ChatGPT等国外的大模型会面临较多的挑战,其中数据安全泄漏风险、模型训练成本高昂尤为突出。

但在DeepSeek推出后,有了高速发展,国内各大厂商私有部署对接,同时受益于DeepSeek的开源,国内其他模型也有了突破。现在,大模型的应用已逐渐在生活中得以应用,比如在电商平台、内容社区等各个领域,能作为工具很大提升效率。本文从AI落地的角度,介绍如何进行本地部署使用DeepSeek,为后续的AI项目实战奠定基础。

一、DeepSeek是什么?

DeepSeek(深度求索)是一家专注于大语言模型(LLM)研发的中国AI公司,以开源策略和低成本高性能模型著称。截止当前主要提供DeepSeek V3、DeepSeek-R1、DeepSeek Coder等产品。

1、DeepSeek V3:快速应答的模型。如非复杂的推理任务,建议使用新版本 V3模型,享受速度更加流畅、效果全面提升的对话体验。

2、DeepSeek-R1:推理模型。在输出最终回答之前,模型会先输出一段思维链内容,以提升最终答案的准确性。现在比较常见了。

有如下优势:

1、本地部署支持:不像chatgpt等只能在云端使用,DeepSeek提供开源权重,可在本地运行(适用于企业/隐私保护)。

2、支持中英双语:对于中文支持有针对性优化,在某些任务上优于同级别的llama和chatgpt等模型。

3、开源:可自由下载模型,在服务器或个人PC(Windows/Mac)上运行。

二、运行环境(ollama) 安装

在安装DeepSeek模型之前,需要安装能够运行它的环境。   

ollama是什么?它是一个本地运行大语言模型(LLM)的工具,专门用于在个人电脑或服务器上运行AI语言模型,无需依赖云端API等,安装特别简单。

1、访问、下载、安装

地址:https://ollama.com/

图片

点击Download即可下载。

2、安装、验证

正常安装软件后,打开命令行,输入以下命令进行验证:

ollama --version或者ollama --help

看到如下信息即表示启动成功,只是此时还没有可以运行的模型。

图片

三、DeepSeek模型下载与运行

具备ollama环境后,就可以进行模型下载了。

1、选择模型

访问地址:https://ollama.com/

图片

点击上图的DeepSeek-R1(或者在页面上方搜索)。

图片

可以看到ollama支持的不同参数的模型。当然也可以点击右上角的View all,还有更多版本的模型。

2、下载模型

使用下方的命令下载,模型文件比较大,需要等待一段时间。

ollama run deepseek-r1:7bollama run deepseek-r1:14b // 下载14b

下载完成后,使用如下命令验证。

ollama list

即可看到下载完成的模型列表。

此时,我们已准备好了运行环境和模型,可以运行看看效果了。

3、运行、使用模型

(1)方式一:使用命令运行

ollama run deepseek-r1:14b

图片

会出现闪烁的光标,此时可以输入消息与大模型对话了。

比如:输入“你好,请问你是谁?”

图片

注:命令行模式下要停止对话使用bye指令。

/bye

(2)方式二:使用可视化工具

目前市面上已经提供很多大模型的可视化工具了,有网页版的,也有客户端的。本次展示使用大家比较容易上手的chatbox。

访问地址:https://chatboxai.app/zh

图片

下载客户端、安装。(因为使用的本地服务,启动网页版连不上本地服务)

打开软件,首先要设置大模型,点击左下角的设置,按照如下设置。

图片

此时即可进行聊天了。

同样输入“你好,请问你是谁?”

图片

可以看出,还展示了思考过程。

注意:若不想使用了,关闭ollama软件;下次使用时,再次打开该软件即可直接使用了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

StarkLi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值