docker run m3e 配置网络，自动重启，GPU等 配置渠道要点

因为容器里的执行脚本中，判断了key是不是等于 “sk-aaabbbcccdddeeefffggghhhiiijjjkkk”，key不一致会出现401错误。用CPU就挺快的，所以我没把显卡映射到docker容器中，但从容器的代码中能看到，只要把显卡映射到容器就能自动判断是否有显卡。注意：密钥一定要配置成“sk-aaabbbcccdddeeefffggghhhiiijjjkkk”也可以在docker-compose.yml的environment中自定义key的值。然后把m3e配置到one-api。

大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。位置： \wsl.localhost\Ubuntu\home\csc\fastgpt。位置： \wsl.localhost\Ubuntu\home\csc\fastgpt。大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。

111

【代码】docker部署OneAPI和M3E向量模型。

M3E 是一个开源的文本嵌入模型，适合使用场景主要是中文，少量英文的情况。

6、登陆one-api: http://127.0.0.1:18087，把旧的M3E地址http://127.0.0.1:6008修改为bgem3地址http://127.0.0.1:5000。1、在服务器100.161.35.42新建目录/data/wenda/model/bgem3。3、附件中的文件bge-m3.py放到/data/wenda/model/bgem3目录。，只要安装这一个依赖就行，因为前面已经安装好了fastgpt、docker等环境。2、在魔搭社区下载 git clone。

FastGPT 默认使用了 openai 的 embedding 向量模型，如果你想私有部署的话，可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型，资源使用不高，CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。

【代码】Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）

【代码】FastGPT接入M3E教程。

因为docker下载的镜像源默认是国外的地址，所以下载比较慢，换成国内的镜像源下载会比较快一点。ollama下载这里就不做说明了，因为现在ollama下载比较简单，需要的话，我再出博客讲解。这里如果是测试的话就用简单模型就好了，其他的高级玩法后面再慢慢摸索。像我用的是qwen2.5，你们可以根据自己的模型进行选择。本机地址：http://localhost:3001/模型那里选择的模型要选择你本地ollama下载的模型。这里是分割数据的模型，用自动模式就好了。这里选择模型，选择完之后就可以用了。

解决关于Docker运行容器使用GPU资源时的异常：could not select device driver ““ with capabilities: [[gpu]]

本文技术路线为：利用ChatGLM3-6b作为基座大模型，M3E作为向量模型，基于FastGPT建立用户知识库，One-API做统一API接口管理。

在这个例子中，我们运行的是一个名为m3e-large-api的镜像，版本为latest。上一篇，我们搭建了本地的知识库应用：fastgpt！然后给知识库搭好了桥(one api)，并且把本地部署的大模型Qwen-14B/chatglm3-6b接入了知识库！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！今天跟着雄哥，把嵌入模型m3e，部署到GPU上，打造知识库完全体！

[TOC](ollama + fastgpt+m3e本地部署)

从0开始搭建完全离线的基于大模型的本地知识库

pip安装第三方库报错。