使用Momento Cache和Momento Vector Index集成LangChain-CSDN博客

本文链接：https://blog.csdn.net/bBADAS/article/details/145624116

技术背景介绍

Momento是世界上第一个真正的无服务器缓存服务，提供即时的弹性、零扩展能力和超快的性能。Momento还提供Momento Vector Index（MVI），这是一个完全无服务器的向量索引，使用简单，生产效率高。通过Momento缓存和向量索引，您可以为大语言模型（LLM）提供全面的数据解决方案。

本文将介绍如何在LangChain中使用Momento生态系统，包括缓存和向量索引功能。

核心原理解析

Momento Cache

Momento Cache是一个无服务器、分布式、低延迟的缓存服务，非常适合用于缓存LLM的提示和响应。通过这样做，可以显著提高模型的响应速度和性能，尤其是在高并发场景下。

Momento Vector Index

Momento Vector Index（MVI）是一个无服务器的向量索引解决方案。它允许您高效地存储和检索向量数据，非常适合用于LLM中的向量存储和检索操作。

代码实现演示

安装与配置

首先，注册一个Momento免费账户，并获取API密钥。
然后，通过以下命令安装Momento Python SDK：

pip install momento

缓存

使用Momento Cache作为无服务器的分布式低延迟缓存：

from datetime import timedelta
from momento import CacheClient, Configurations, CredentialProvider
from langchain.globals import set_llm_cache
from langchain.cache import MomentoCache

# 实例化Momento客户端
cache_client = CacheClient(
    Configurations.Laptop.v1(),
    CredentialProvider.from_environment_variable("MOMENTO_API_KEY"),
    default_ttl=timedelta(days=1)
)

# 设置缓存名称
cache_name = "langchain"

# 实例化LLM缓存
set_llm_cache(MomentoCache(cache_client, cache_name))

存储聊天消息历史

Momento也可以用作LLM的分布式内存存储。下面是如何使用Momento存储聊天消息历史的示例：

from langchain.memory import MomentoChatMessageHistory

# 实例化Momento聊天消息历史
chat_message_history = MomentoChatMessageHistory(
    client=cache_client,
    cache_name=cache_name
)

向量存储

使用Momento Vector Index作为向量存储：

from langchain_community.vectorstores import MomentoVectorIndex

# 实例化Momento向量索引
vector_index = MomentoVectorIndex(
    client=cache_client,
    index_name="example_vector_index"
)