1.DeepSeek-R1+Dify+Bge-m3+CentOS7.9搭建本地专属知识库

已于 2025-05-28 15:10:29 修改
阅读量2.5k 收藏 44
点赞数 28
分类专栏： AI大模型测试领域应用 文章标签： DeepSeek Dify
于 2025-02-26 15:48:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/web326/article/details/145877222
版权

1.介绍

        部署本地DeepSeek+本地知识库，将现有的内部项目测试相关资料上传，构建测试领域模型。笔记本电脑配置较低，不能一起部署DeepSeeK+Dify。在现有服务器上创建虚拟机进行部署，尝试使用。

2.系统准备

2.1服务器介绍

硬件服务器：40核/256G服务器+CentOS7.9+KVM虚拟机

本次使用虚拟机配置：CPU：>16（实际配置32），

                                    内存：>32G（实际配置64），

                                    存储：400G

                                    操作系统：CentOS7.9+最小化部署+开发相关软件

2.2操作系统设置

1.关闭Seliunx和防火墙

#防火墙关闭和禁用开机启动
systemctl disable firewalld
systemctl stop firewalld
#永久关闭selinux：
vi /etc/selinux/config  SELINUX=disabled
#临时关闭selinux：
setenforce 0

2.配置国内ali-yum源

# yum源配置
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install epel-release -y
yum install fuse-overlayfs

#安装wget测试yum源：
yum install wget

2.3安装docker、docker-compose

安装docker及docker-compose（版本要求：Docker 19.03 or later Docker Compose 1.28 or later）

#安装docker：
yum install -y yum-utils device-mapper-persistent-data lvm2 docker
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
#安装docker-compose，需要版本大于1.28
curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

#配置开机启动
systemctl enable docker 
systemctl start docker

# 验证docker及docker-compose服务OK
systemctl status docker

docker-compose -v
docker-compose version 1.29.2, build 5becea4c

2.4docker配置国内镜像源

vi /etc/docker/daemon.json 创建文件，配置内容

vi /etc/docker/daemon.json #配置json
{
    "registry-mirrors": [
        "https://自己的阿里云加速器id.mirror.aliyuncs.com",
        "https://dockerproxy.com",
        "https://mirror.baidubce.com",
        "https://docker.m.daocloud.io",
        "https://docker.nju.edu.cn",
        "https://docker.mirrors.sjtug.sjtu.edu.cn",
        "https://do.nark.eu.org",
        "https://dc.j8.work",
        "https://docker.m.daocloud.io",
        "https://dockerproxy.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://docker.nju.edu.cn"
    ]
}

systemctl daemon-reload 
systemctl restart docker

3.安装ollama及DeepSeek模型

3.1安装ollama

1.在线安装：Download Ollama on Linux   ，直接运行：

curl -fsSL https://ollama.com/install.sh | sh

PS：因我的服务器到github网络带宽原因，执行时间过长且多次都未成功，使用离线安装方式进行。

2.离线安装ollama

  1. 登录https://github.com/ollama/ollama/releases  ，下载当前最新版本0.5.12  ollama-linux-amd64.tgz
  2. 上传服务器/opt/ollama目录及解压 
    mkdir /opt/ollama
tar -xzf ollama-linux-amd64.tgz
  3. 配置ollama服务文件 
    # 创建启动文件
vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target


[Service]
ExecStart=/opt/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"


# 指定模型存储位置
Environment="OLLAMA_MODELS=/opt/ollama/models"

# 配置ollama非本机IP访问
Environment="OLLAMA_HOST=0.0.0.0:11434"


[Install]
WantedBy=default.target




#修改完之后，刷新
systemctl daemon-reload

  4. 配置环境变量

  5. vi /etc/profile.d/ollama.sh
#ollama.sh内容如下
PATH=$PATH:/opt/ollama/bin
export PATH

#刷新 
source /etc/profile

  6. 启动以及设置开机启动

    systemctl enable ollama 

systemctl start ollama 

systemctl status ollama 

# systemctl stop ollama ##关闭

# systemctl restart ollama  ##重启

   6. 验证ollama

ollama -v

3.2下载DeepSeek等模型

从Ollama Search 找到对应模拟命令进行下载

#安装deepseek的默认版本：7b
ollama run deepseek-r1
#安装向量模型
ollama pull bge-m3

查看安装模型

查看运行中的模型

4.Dify部署

4.1Dify部署

参考官方部署文档：Docker Compose 部署 | Dify

git clone https://github.com/langgenius/dify.git
cd /opt/dify/docker 
cp .env.example .env 
docker compose up -d

http://192.168.100.219/install   安装地址

http://192.168.100.219  登录地址

4.2 Dify参数配置

cd /opt/dify/docker

vi .env   #修改配置详见截图
#上传文件大小数量限制
# Upload file size limit, default 15M.
UPLOAD_FILE_SIZE_LIMIT=250

# The maximum number of files that can be uploaded at a time, default 5.
UPLOAD_FILE_BATCH_LIMIT=100

#重启dify所有服务，使修改配置生效
docker compose down
docker compose up -d

5.Dify配置DeepSeek等模型

5.1 添加DeepSeek+bge-m3模型

dify系统右上角--点击用户名---点击“设置”---选择模型供应商“ollama”

5.2 对接硅基流动(可选)

硅基流动统一登录  注册，创建API密钥

5.3配置dify模型设置

6.知识库导入及使用

6.1创建知识库及上传资料

6.2创建聊天助手

【角色设定】作为资深测试工程师
【详细任务描述】为xx项目集成测试写一份测试方案与计划。旨在指导测试团队明确测试目的、测试范围、测试计划、测试策略和重点、以及交付哪些交付件，和项目测试中可能出现的风险。测试时间25个工作日，测试环境分为功能测试环境、非功能（性能、稳定性、长拷）测试环境两套。要求必须进行安装部署测试和法语的本地化测试。
【关键信息补充】分多个一级标题，多个二级、三级标题，测试方案设计详细、清晰、简洁明了。
【期望输出要求】给出详细测试方案，3000字左右

使用结论：

1.已经引用了自己配置知识库，可以在不联网情况下使用DeepSeek；

2.使用deepseek-r1:7b 小型模型，因服务器无显卡、纯CPU，在进行使用时，32核基本上全部90%以上；

3.输出效果，现在使用未达到想要的效果，需要继续研究下。

7.后续

待进行

Dify知识库：使用Dify与BGE-M3搭建RAG（检索增强生成）应用
xiezhipu的博客
12-01 4333
RAG 是 “Retrieval-Augmented Generation” 的缩写，这一术语首次由Facebook AI Research (FAIR)团队在2020年提出，并在他们发表的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中得到了详细的介绍和解释。
Deepseek+Ollama+Cherrystudio+beg-m3部署私人知识库
hongyan0921的博客
02-20 1664
Deepseek+Ollama+Cherrystudio+beg-m3部署私人知识库
银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】
mizhiakk的博客
04-11 1138
银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】
本地部署Dify+Deepseek，打造个性化知识库问答系统
zhz5214的博客
05-12 1050
摘要：通过以上步骤，我们成功在Windows系统下借助Dockers部署了Dify+Deepseek，打造了个性化的本地知识库问答系统。
Didy知识库：ollama bge-m3 部署，并实现与dify平台对接
xiezhipu的博客
11-29 9664
这几天为了写技术博客，各种组件可谓是装了卸，卸了装，只想复现一些东西，确保你们看到的东西都是可以复现的。（看在我这么认真的份上，求个关注啊，拜托各位观众老爷了。这不，为了实验在windows上docker里运行pytorch，把docker重装了。dify也得重装：Dify基础：Dify平台的本地化部署（含windows部署中，常见问题及解决方案）结果发现，这个模型注册这里，有了一些新东西：那咱可得好好玩一玩。
从0到1手把手搭建dify（基于centos7.9）
最新发布
萌新知识小课堂
05-15 434
手动部署dify包含docker /docker-compose/dify 三个服务部署
CentOS7之Dify部署
weifacai的专栏
06-29 5677
CentOS安装时IP4设置成手动，DNS设置为1.CentOS安装DockerDocker CE 支持 64 位版本 CentOS 7，并且要求内核版本不低于 3.10， CentOS 7 满足最低内核的要求，所以我们在CentOS 7安装Docker。1.1.卸载（可选）
【大模型-知识库之本地安装Embendding模型（BGE-M3）】
高克莱的博客
03-20 1482
通过python进行文档内容的解析、分片、并调用Embendding模型（BGE-M3）将分片内容进行向量化，存入向量数据库中，其中向量转化可以使用开源的模型进行处理。
使用deepseek和bge-m3搭建本地知识库
2401_85390073的博客
02-25 8075
想要在本地搭建知识库，需要提供一个本地运行大模型的环境，选择合适的推理大模型和Embedding模型，其次需要配置向量数据库用于知识的存储和检索，最后安装可视化交互工具方便使用。当然很多可视化交互工具本身也提供了默认的向量数据库配置，如anythingLLM。为了简化本地部署，这里就通过anythingLLM来完成模型和向量数据库的配置。集成步骤如下：安装Ollama→下载DeepSeek和Embedding模型→安装anythingLLM→配置DeepSeek和Embedding模型。
Dify+Ollama+Deepseek+BGE-M3来搭建本地知识库实操
2401_85325726的博客
04-07 1078
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
RAG系统环境搭建[Dify+xinference+vllm+rerank(bge-reranker-large)+embedding(bge-large-zh-v1.5 )+deepseek]
qq_50112300的博客
02-25 2152
第二步:#在最下面插入并保存,/usr/local/cuda-xx.x,/usr/local/cuda-xx.x/libxx 复制cuda成功后的信息如下图图。后台启动:nohup xinference-local --host 0.0.0.0 --port 9997 &> nohup.out &当前控制台启动:xinference-local --host 0.0.0.0 --port 9997。(上面安装过了驱动,所以不需要再安装驱动,此步骤直接安装会失败,所 以 分开)1. 安装vllm0.43。
Cent OS7+Docker+Dify
qq_41048761的博客
03-27 1858
修改完成后直接用docker安装dify。
CentOS 7中安装Dify
laolitou_1024的博客
03-04 3751
Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。尤其是我们本地部署DeepSeek等大模型时，会需要用到Dify来帮我们快捷的开发和应用。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1610
AI菜鸟向前飞 — LLM简介
安装Embendding模型（bge-m3）并且关联Dify
欲买桂花同载酒的博客
02-20 4358
在使用Dify进行知识库创建的时候，我们可以设置它的索引方式是高质量还是经济模式。如果想使用高质量的索引方式，就必须安装Embendding模型。下面我们来介绍下如何安装Embendding模型（bge-m3）并且将其关联到Dify平台。
Centos7系统采用Docke方式部署Deepseek AI大模型超详细教程
宋发元
03-07 1473
Ollama 是一个开源的大型语言模型服务工具，旨在让用户在本地环境中轻松启动、运行和管理各种开源 LLM。它的设计理念类似于 Docker，采用命令行交互方式来管理模型，比如通过简单的命令（如pullruncreatelist等）就能下载和部署模型，同时还支持 REST API 接口，方便与其他应用程序集成。简化部署：只需几条命令即可在本地快速启动模型，极大降低了部署门槛。多平台支持：支持 macOS、Windows、Linux 以及 Docker 部署，适应各种使用场景。模型管理。
一、本地部署DeepSeek大模型的最佳实践
Like0703的博客
02-27 995
结合Microsoft Semantic Kernel框架，集成自定义搜索模块，实现实时信息检索与模型整合17。启动服务：Linux系统需添加用户权限并启动服务，其他系统默认安装后自动运行。：32GB内存 + 16GB显存（RTX 5090D级别）1120。：结合关键词与向量检索（RAG-Fusion），提升搜索精度12。配置DeepSeek为对话模型，嵌入模型选择BGE-M3。：16GB内存 + 8GB显存（RTX 3060级别）。：Ollama（跨平台支持，简化模型管理）31320。
超详细！Linux 服务器离线部署 deepseekR1+WEB 页面（openwebui+dify），附安装包一步到位
huanhuanzhou blog
02-19 1922
离线无网络安装部署，都在我这里了，看我一篇就行
deepseek本地部署+知识库
02-23
### DeepSeek 本地部署教程 #### 准备工作 为了成功在本地环境中部署DeepSeek并配置知识库，需完成如下准备工作： 对于 Windows 平台而言，确保已安装 Docker 环境，并能够正常运行容器化应用程序[^1]。 #### 部署过程 按照官方指导文档操作，具体步骤包括但不限于克隆项目仓库到本地计算机。例如，在命令行工具中执行以下 Git 命令获取最新版本的 Dify 源码： ```bash git clone https://github.com/langgenius/dify.git ``` 进入刚下载下来的 `dify` 文件夹下的 `docker` 子目录继续后续设置： ```bash cd dify/docker ``` 创建 `.env` 文件用于存储必要的环境变量参数，这一步可以通过复制模板文件实现： ```bash cp .env.example .env ``` 编辑新生成的 `.env` 文件，依据实际情况调整各项配置项，比如端口号、数据库连接字符串等信息[^4]。 启动服务之前建议先阅读官方提供的 README.md 或其他辅助说明材料了解更多细节和注意事项。 #### 设置知识库 当 DeepSeek 成功上线之后就可以着手建立专属的知识库了。通过图形界面或者 API 接口上传所需资料集，如 CSS 技术文档等内容资源。这些数据会被索引处理以便于日后查询检索使用[^2]。 针对特定主题发起询问时只需简单描述需求即可触发系统自动匹配相关内容片段作为回应的一部分展示出来。例如：“请根据知识库的内容，看看CSS如何模拟真实的进度条？”这样的问题就能够得到针对性解答。 另外还存在一种更为灵活的方式——利用 AnythingLLM 工具来自定义构建更加贴合业务场景的需求型知识库。这种方式允许用户事先准备好一批结构化的文本素材供模型学习理解后再开展交互交流活动[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

测试老吴

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值