FASTGPT 访问 BGE M3-Embedding
时间: 2025-04-18 17:50:02 浏览: 53
### 集成和使用 BGE M3 Embedding
为了在 FastGPT 中集成并使用 BGE M3 Embedding,需遵循特定步骤来确保模型能够被正确加载和调用。以下是具体方法:
#### 准备工作环境
确保已成功安装 FastGPT 和 OneAPI 平台[^1]。这一步骤对于后续操作至关重要。
#### 下载预训练模型
获取 `bge-m3` 模型文件。该模型可以用于生成高质量的文本嵌入表示,适用于多种自然语言处理任务[^2]。
```bash
git clone https://github.com/mofanke/acge_text_embedding.git
cd acge_text_embedding
pip install -r requirements.txt
```
#### 加载模型至 FastGPT
通过 API 或者命令行工具将下载好的 `bge-m3` 模型导入到 FastGPT 的环境中。通常情况下,可以通过修改配置文件指定路径指向本地存储的模型位置。
```json
{
"model": {
"name": "bge-m3",
"path": "/path/to/bge_m3_model"
}
}
```
#### 调整应用逻辑以支持新功能
为了让应用程序充分利用新的 embedding 功能,在编码阶段应考虑调整现有代码结构以便更好地适配这些特性。例如,当构建查询语句时可以直接利用 `bge-m3` 提供的方法来进行相似度计算或其他高级 NLP 应用场景下的数据处理。
```python
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("/path/to/bge_m3_model")
model = AutoModelForSequenceClassification.from_pretrained("/path/to/bge_m3_model")
def get_embeddings(texts):
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)
outputs = model(**inputs)[0].mean(dim=1).detach().numpy()
return outputs
```
上述代码展示了如何基于 Hugging Face Transformers 库加载自定义路径中的 `bge-m3` 模型,并实现了一个简单的函数用来提取输入文本对应的 embeddings 表达形式[^3]。
阅读全文
相关推荐


















