如何使用 LangChain 与 IBM Watsonx.ai 进行文本嵌入-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/149048889

在 AI 技术的日益发展中，IBM 的 Watsonx.ai 提供了强大的嵌入模型，用于处理文本数据。在本文中，我们将探讨如何通过 LangChain 与 Watsonx.ai 模型进行通信，获取文本嵌入。本文将详细介绍设置步骤，以及示例代码的实现。

技术背景介绍

IBM Watsonx.ai 是 IBM 提供的 AI 基础设施，支持各种 AI 模型的部署和使用。WatsonxEmbeddings 是一个用于处理文本嵌入的封装器，利用 LangChain 可以轻松与这些模型进行交互，助力于文本处理和理解任务。

核心原理解析

文本嵌入是将文本转化为一系列的向量，适用于多种自然语言处理任务。通过 IBM Watsonx.ai 的嵌入模型，可以捕获文本的深层语义信息，便于文本分类、相似度计算等应用场景。

代码实现演示

首先，确保安装必要的软件包：

!pip install -qU langchain-ibm

接下来，定义 Watsonx.ai 的必要凭证：

import os
from getpass import getpass

watsonx_api_key = getpass()  # 提供 IBM Cloud 用户 API 密钥
os.environ["WATSONX_APIKEY"] = watsonx_api_key

# 其它环境变量设置
os.environ["WATSONX_URL"] = "your service instance url"
os.environ["WATSONX_TOKEN"] = "your token for accessing the CPD cluster"
os.environ["WATSONX_PASSWORD"] = "your password for accessing the CPD cluster"
os.environ["WATSONX_USERNAME"] = "your username for accessing the CPD cluster"
os.environ["WATSONX_INSTANCE_ID"] = "your instance_id for accessing the CPD cluster"

加载模型参数：

from ibm_watsonx_ai.metanames import EmbedTextParamsMetaNames

embed_params = {
    EmbedTextParamsMetaNames.TRUNCATE_INPUT_TOKENS: 3,
    EmbedTextParamsMetaNames.RETURN_OPTIONS: {"input_text": True},
}

初始化 WatsonxEmbeddings 类：

from langchain_ibm import WatsonxEmbeddings

watsonx_embedding = WatsonxEmbeddings(
    model_id="ibm/slate-125m-english-rtrvr",
    url="https://us-south.ml.cloud.ibm.com",
    project_id="PASTE YOUR PROJECT_ID HERE",
    params=embed_params,
)

最后，我们演示如何进行文本嵌入：

嵌入查询

text = "This is a test document."
query_result = watsonx_embedding.embed_query(text)
print(query_result[:5])  # 输出嵌入向量的前五个值

嵌入文档

texts = ["This is a content of the document", "This is another document"]
doc_result = watsonx_embedding.embed_documents(texts)
print(doc_result[0][:5])  # 输出第一个文档嵌入向量的前五个值