个人数据不想上传?完全离线的本地知识库搭建

本文将展示零成本搭建自己的私有知识库。学会该搭建方法后,可以把自己的个人资料,过往写的文章,Notion等所有个人信息上传到本地知识库。完全离线的工具不多,本文会选择chatbox搭建一个完全离线的知识库。其他的如maxkb,dify,anythingllm 功能更多,但都需要联网和注册,可根据自己的需求选择安装。

如果有企业级别私有部署需求(如有2台H100,H20服务器),可选择vLLM的tp+pp模式部署。有问题可以联系网心算力云讨论

github讨论: https://github.com/vllm-project/vllm/issues/12997#issuecomment-2655359089

OneThingAI官网:OneThingAI算力云 - 热门GPU算力平台

邮箱:onethingai@onething.net

本文会以如下方式展开(操作系统以Windows为例,如果为Mac, Ollama,Chatbox下载对应安装包即可):

  • 安装Ollama

  • 安装chatbox

  • 创建知识库

主要流程如下,如果选择非Chatbox,替换安装流程即可

一,下载安装Ollama

ollama 从 Ollama下载链接 下载

双击安装包进行安装

安装完成以后在任务管理栏会有个小羊驼

二,安装chatbox/anythingllm

1,安装chatbox

chatbox官网 下载

双击安装包安装

安装完成后如图:

三,创建知识库

1,使用ollama 跑一个本地的模型

1.1,win + r 输入 cmd 打开命令行

1.2,启动模型
ollama run deepseek-r1:7b

2,设置Chatbox

开启聊天:

加载知识库(例子里用了deepseek v3 的技术报告)

内容概要:本文档详细介绍了 DEEP SEEK 的本地部署及其与私有知识库整合的具体步骤。主要包括两大部分:Ollama 平台的使用方法和 DeepSeek R1 模型的安装指导。Ollama 是一种能够便捷部署深度学习模型(尤其是大型语言模型)的工具,它支持多种操作系统并在命令行中执行相应操作以完成从下载、配置直至实际使用的全过程。文中针对不同硬件条件给出了具体配置推荐,并逐步讲解了从安装 Ollama 到运行特定大小版本 DeepSeek 模型(如 1.5b 至 70b),再到设置 API 键连接云端服务以及最后利用 Cherry Studio 构建个人专属的知识库的一系列操作指南。同时附上了多个辅助资源如视频教程、在线演示平台链接以便更好地理解和学习整个过程。 适合人群:适合有一定技术背景且想探索本地部署人工智能模型的初学者或是希望通过本地化部署提高效率的研发团队。 使用场景及目标:一是帮助用户了解并掌握在本地环境中配置高性能 AI 工具的全流程操作;二是使用户能够根据自己拥有的计算资源情况合理挑选合适的模型大小;三是通过集成私有知识库为企业内部提供定制化的问答或咨询系统,保护敏感数据不受公开访问威胁。 其他说明:考虑到安全性和稳定性因素,作者还提供了应对潜在风险如遭遇网络攻击时选用可靠替代源——硅基流动性 API 来保障服务持续稳定运作,并强调在整个实施过程中应谨慎处理个人信息及企业关键资产以防泄露事件发生。此外,提到对于更高级的功能例如基于 Ollama 实现本地知识库还有待进一步探讨和发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值