大家好,我是苍何。
继本地部署完 DeepSeek 后,我发现效果并没有想象中出彩,我本地的 AI 没有变成人工智能,偶尔还成了人工智障🐶。
原因都懂,算力就摆在这,况且我电脑还在裸奔😂。
于是之前给大家留的坑,本地训练知识库,就一直耽搁着。
正当我满脸愁容时,偶然看到 Cherry Studio 上线知识库功能,并能支持满血版 DeepSeek 的调用。
我随即吐了一口老痰,起身赶紧出了这一篇教程,给大家分享。
在放教程前,不禁要灵魂拷问下自己?为什么要用 DeepSeek 介入个人知识库?
其实像 DeepSeek 这种大模型,人家是已经用很多公开的或者蒸馏的数据进行训练好了的。
他只会回答他曾经看过的知识(或者联网去查一查网上新数据),但你想让他回答你自己知识库里面的知识,他是做不到的。
但很多时候,无论是个人还是公司,数据并不可能都开放到互联网上去,这样,DeepSeek 就无法学习到了。
所以将 DeepSeek 接入个人知识库的核心逻辑就是:
让 DeepSeek 读取你个人的知识库,然后基于你的知识库来回答问题。
这篇文章不需要你有任何编程知识,简单 3 步,就可快速将用DeepSeek接入个人知识库,普通电脑就能跑。
先来看看知识库效果吧,当我向 DeepSeek 提问:“RocketMQ之如何实现定时延时消息”:
回答是基于我的原创 pdf:《RocketMQ从⼊⻔到精通》
在 DeepSeek 回答的最后还会清晰的标注出引用内容出处:
怎么样?效果很炸裂吧?直接起飞,下面我就细致的来说说怎么搭建吧。
Cherry Studio 下载
CherryStudio 你可以理解是大模型客户端,和之前介绍的 Chatbox 一样,但 Cherry Studio 能通过 RAG 知识库增强问答功能,还可以创建智能体。而且颜值我感觉也很好看。
下载也很简单,你可以直接搜索官网后下载,但速度有些感人。
你也可以直接在评论区回复:CherryStudio,享受快速下载(支持 windows 、macos、Linux)。
直接点击下载客户端:
选择自己电脑的版本:
没看到自己电脑版本也不要紧,可以点击选择其他版本下载:
下载完后,打开安装包,你就直接进入到这个界面。
有了大模型的壳子,接下来就可以配置大模型和知识库了。
模型配置
这里需要配置 2 类模型,一类是满血版的通用大模型 DeepSeek,另一个是知识库需要的向量嵌入模型。
嵌入模型主要用于将文本数据转换为向量(Embedding),以便在知识库应用中进行高效匹配和计算。
为了痛快的使用满血版 DeepSeek,这里的 2 种模型就都使用硅基流动的 API 了,反正也还免费🐶
申请 API
这一步之前申请过的小伙伴可直接跳过。
前提是先去申请下 API。不用再找入口了,Cherry Studio 完美集成,点击左下角设置,点击设置获取秘钥:
跳转过来后,需要先简单注册一下:
直接用手机号注册,当然你想要获得免费的 2000 万 Tokens,可以使用我的注册链接,我也能得 2000 万 Tokens,双赢,哈哈哈。
https://cloud.siliconflow.cn/i/Au2P08ty
登录进去后点击左侧的 API 秘钥,再点击新建 API 秘钥:
API 秘钥可以理解成是访问接口的凭证,具有该账户的完整权限。
不出意外,来到新建窗口,随便输入个秘钥名字,比如我的“苍何大狗比的秘钥”。
新建好后,鼠标轻轻的放在这串带星号的上面,轻轻的点击一下复制。
看到有这个提示,就代表复制成功,第一步就算大功告成了。
郑重提醒,秘钥不要给别人用,不然损失的可是你白花花的钱啊。
当然你如果闲来无事,也可以在模型广场看看,有很多的模型,有免费的也有付费的:
其中付费的,看是否可用赠送余额:
比如这种就只能充值钱才可用:
这种,就可以使用充值的和赠送的:
为了将羊毛薅到底,并又能体验满血效果,这里我选择的 2 个模型分别是:
对话模型:deepseek-ai/DeepSeek-R1(免费)
嵌入模型: Pro/BAAI/bge-m3(免费但可使用赠送余额,也相当于免费)
配置秘钥
将复制过来的秘钥直接黏贴在 CherryStudio 中
当然你也可以直接在 CherryStudio 中点击获取一样可以蹦到页面:
但是这里需要@一下官方,点击登录后就蹦到授权,点击按钮没用,这个是个bug,点了几下没反应差点想重启。
所以建议大家还是老老实实打开官网去复制吧。
这都不重要,重要的是你黏贴上之后,用你粗壮的大拇指,轻轻点击一下「检查」:
不出意外的话,过几十秒,上方会显示『连接成功』这四个字。
这样,秘钥就配置好了,有了秘钥,接下来就是要选择我们一开始说的那 2 个模型,幸运的是 deepseek-ai/DeepSeek-R1 模型不用选,系统自带。
所以接下来就是选择下嵌入模型。
选择嵌入模型
同样是刚才的页面,在配置这里滑到底,你会看到有「管理」这两个字。
别犹豫,点击他,然后选择「嵌入」,选择 Pro/BAAI/bge-m3:
这样 2 种模型就配置好了,这可把我高兴坏了,现在可以跟大模型对话了,但并没有结合知识库。
可以发起一个对话试试效果先:
点击助手,选择模型:
随便问一个问题:
不愧是满血,吐字速度还可以,也不带卡的。
创建知识库
接下来,我们需要将本地的知识库放入到 CherryStudio 中,然后 CherryStudio 自动就会调用刚才我们配置好的嵌入模型进行向量检索。
步骤也简单的爆,先点击创建知识库,点击添加:
这里可以选择我们刚配置的强大模型了,不要选错哦,效果好的是我们刚自己配置的。
不出意外的话,创建完后是这样的:
可以选择添加文件、目录、网址、网站、笔记等作为知识库的素材。
需要注意的是文件只支持 pdf、docx、pptx、xlsx、txt、md 格式,不过已经使用大多数的需求了。
这里我先以添加文件来看看, 选择苍何之前写过的 rocketmq 教程来研究研究,看看 AI 能不能惊艳我。
点击打开上传后,接着是会根据刚才选择的嵌入模型自动做的向量化,
添加完文件后,系统会自动进行向量化处理,当显示完成时(绿色 ✓),代表向量化已完成。
我们可以直接在这里搜索知识库,看看效果:
比如我搜索:RocketMQ 之如何实现定时延时消息
可以看到已经从我的知识库中搜索信息了:
目前你可以看到,相当于给我的知识库创建了个索引,但还没结合 AI 的能力,AI 能帮我们索引完后做总结啊。
毕竟我需要的并不仅是索引,我需要你直接基于文档给我答案啊。
使用知识库对话
以上全部前置工作都已经准备完成,就是为了这最后一步的秀一波,话不多说,开始秀。
同样,点击助手,这里为了演示方便,先创建个助手,就命名 RocketMQ 专家吧。
点击新建:
这个助手就一件事,只对我们刚才投喂的知识库生效,但需要开启一个开关,在下方选中知识库提问:
当我问:RocketMQ 之如何实现定时延时消息
经过了一番搜索本地知识库,终于给了我还算不错的回答:
我 14.3 M 的知识库一共花了 226.5 秒时间思考,时间虽然漫长,但是效果我还是很满意的:
这个其实还是通过远程方式给模型思考,并不具备隐私性,并且提问的过程也是消耗 token 的。
可以看到我一次简单的提问,就消耗了 163323 的 token。
这个消耗量还是很巨大的。
不过 2000 万免费 token,也可以用一阵子了。
以上,教程就结束了,不过这种方式的好处就是可以满血版使用 deepseek 的同时,还不用自己搭建向量模型,简单方便。
缺点也显而易见,用 API 会消耗 token,免费的用完了怎么办?还是得充值,这都不是关键,毕竟充点钱能解决问题也很好。
关键是,这种方式会将知识库上传到硅基流动那边,对于保密性强的文档就不那么方便了。
当然如果自己电脑足够优秀,也完全可以本地部署,然后选择本地模型,但理想很丰满,本地这种方式没法跑满DeepSeek,效果可以说一般。
不过出来混嘛,这都不重要,重要的是,你得先出来。。。
先按照教程去跑一跑,基于你自己电脑的知识库,去看看有什么神奇的效果发生。
去让你的知识更好的为你所用。
我想这或许才是本文最大的价值。