【背景概述】
前两年,国内大语言模型(Large Language Model,简称LLM)还相对落后,那时由于各种限制,使用ChatGPT等国外的大模型会面临较多的挑战,其中数据安全泄漏风险、模型训练成本高昂尤为突出。
但在DeepSeek推出后,有了高速发展,国内各大厂商私有部署对接,同时受益于DeepSeek的开源,国内其他模型也有了突破。现在,大模型的应用已逐渐在生活中得以应用,比如在电商平台、内容社区等各个领域,能作为工具很大提升效率。本文从AI落地的角度,介绍如何进行本地部署使用DeepSeek,为后续的AI项目实战奠定基础。
一、DeepSeek是什么?
DeepSeek(深度求索)是一家专注于大语言模型(LLM)研发的中国AI公司,以开源策略和低成本高性能模型著称。截止当前主要提供DeepSeek V3、DeepSeek-R1、DeepSeek Coder等产品。
1、DeepSeek V3:快速应答的模型。如非复杂的推理任务,建议使用新版本 V3模型,享受速度更加流畅、效果全面提升的对话体验。
2、DeepSeek-R1:推理模型。在输出最终回答之前,模型会先输出一段思维链内容,以提升最终答案的准确性。现在比较常见了。
有如下优势:
1、本地部署支持:不像chatgpt等只能在云端使用,DeepSeek提供开源权重,可在本地运行(适用于企业/隐私保护)。
2、支持中英双语:对于中文支持有针对性优化,在某些任务上优于同级别的llama和chatgpt等模型。
3、开源:可自由下载模型,在服务器或个人PC(Windows/Mac)上运行。
二、运行环境(ollama) 安装
在安装DeepSeek模型之前,需要安装能够运行它的环境。
ollama是什么?它是一个本地运行大语言模型(LLM)的工具,专门用于在个人电脑或服务器上运行AI语言模型,无需依赖云端API等,安装特别简单。
1、访问、下载、安装
地址:https://ollama.com/
点击Download即可下载。
2、安装、验证
正常安装软件后,打开命令行,输入以下命令进行验证:
ollama --version
或者
ollama --help
看到如下信息即表示启动成功,只是此时还没有可以运行的模型。
三、DeepSeek模型下载与运行
具备ollama环境后,就可以进行模型下载了。
1、选择模型
访问地址:https://ollama.com/
点击上图的DeepSeek-R1(或者在页面上方搜索)。
可以看到ollama支持的不同参数的模型。当然也可以点击右上角的View all,还有更多版本的模型。
2、下载模型
使用下方的命令下载,模型文件比较大,需要等待一段时间。
ollama run deepseek-r1:7b
ollama run deepseek-r1:14b // 下载14b
下载完成后,使用如下命令验证。
ollama list
即可看到下载完成的模型列表。
此时,我们已准备好了运行环境和模型,可以运行看看效果了。
3、运行、使用模型
(1)方式一:使用命令运行
ollama run deepseek-r1:14b
会出现闪烁的光标,此时可以输入消息与大模型对话了。
比如:输入“你好,请问你是谁?”
注:命令行模式下要停止对话使用bye指令。
/bye
(2)方式二:使用可视化工具
目前市面上已经提供很多大模型的可视化工具了,有网页版的,也有客户端的。本次展示使用大家比较容易上手的chatbox。
访问地址:https://chatboxai.app/zh
下载客户端、安装。(因为使用的本地服务,启动网页版连不上本地服务)
打开软件,首先要设置大模型,点击左下角的设置,按照如下设置。
此时即可进行聊天了。
同样输入“你好,请问你是谁?”
可以看出,还展示了思考过程。
注意:若不想使用了,关闭ollama软件;下次使用时,再次打开该软件即可直接使用了。