检索增强生成（RAG）-重新排序方法

每日推荐一篇专注于解决实际问题的外文，精准翻译并深入解读其要点，助力读者培养实际问题解决和代码动手的能力。

欢迎关注公众号（NLP Research），及时查看最新内容

原文标题：Advanced RAG 04: Re-ranking

原文地址：https://medium.com/towards-artificial-intelligence/advanced-rag-04-re-ranking-85f6ae8170b1

从原则到两种主流实施方法

重新排序在检索增强生成（RAG）过程中起着至关重要的作用。在简单的 RAG 方法中，可能会检索到大量上下文，但并非所有上下文都与问题相关。重新排序可以对文档进行重新排序和过滤，将相关文档放在最前面，从而提高 RAG 的效率。

本文介绍了 RAG 的重新排序技术，并演示了如何使用两种方法整合重新排序功能。

重新排序（Re-ranking）简介

如图 1 所示，重新排序的任务就像一个智能过滤器。当检索器从索引集合中检索出多个上下文时，这些上下文可能与用户的查询具有不同的相关性。有些上下文可能非常相关（图 1 中红色方框中突出显示的内容），而其他上下文可能只是略有相关甚至不相关（图 1 中绿色和蓝色方框中突出显示的内容）。

重新排序的任务是评估这些上下文的相关性，并优先选择最有可能提供准确和相关答案的上下文。这样，LLM 就能在生成答案时优先考虑这些排名靠前的上下文，从而提高答案的准确性和质量。

简单地说，重新排序就像在开卷考试中帮助你从一堆学习材料中选择最相关的参考资料，这样你就能更高效、更准确地回答问题。

本文介绍的重新排序方法主要分为以下两种：

• 重新排序模型：这些模型考虑了文档和查询之间的交互特征，以更准确地评估它们的相关性。

• LLM：LLM 的出现为重新排序提供了新的可能性。通过彻底了解整个文档和查询，可以更全面地捕捉语义信息。

使用重新排序模型作为重排器

重新排序模型与嵌入模型不同，它将查询和上下文作为输入，直接输出相似性得分而不是嵌入得分。值得注意的是，重新排序模型是利用交叉熵损失进行优化的，因此相关性得分不局限于特定范围，甚至可以是负分。

目前，可用的重新排序模型并不多。一种选择是 Cohere 提供的在线模型，可以通过 API 访问。此外，还有一些开源模型，如 bge-reranker-base 和 bge-reranker-large 等。

图 2 显示了使用命中率（Hit Rate）和平均倒数排名（Mean Reciprocal Rank，MRR）指标的评估结果：

从评估结果可以看出：

• 无论使用哪种嵌入模型，重新排序都能显示出更高的命中率和 MRR，这表明重新排序具有重大影响。

• 目前，最好的重新排名模型是 Cohere，但它是一项付费服务。开源的 bge-reranker-large 模型具有与 Cohere 相似的功能。

• 嵌入模型和重新排序模型的组合也会产生影响，因此开发人员可能需要在实际过程中尝试不同的组合。

本文将使用 bge-reranker-base 模型。

环境配置

导入相关库，设置环境变量和全局变量

import os
os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_KEY"

from llama_index import VectorStoreIndex, SimpleDirectoryReader
from llama_index.postprocessor.flag_embedding_reranker import FlagEmbeddingReranker
from llama_index.schema import QueryBundle

dir_path = "YOUR_DIR_PATH"

目录中只有一个 PDF 文件，即 “TinyLlama: An Open Source Small Language Model”。

(py) Florian:~ Florian$ ls /Users/Florian/Downloads/pdf_test/ tinyllama.pdf

使用 LlamaIndex 构建一个简单的检索器

documents = SimpleDirectoryReader(dir_path).load_data()
index = VectorStoreIndex.from_documents(documents)
retriever = index.as_retriever(similarity_top_k = 3)

基本检索

query = "Can you provide a concise description of the TinyLlama model?"
nodes = retriever.retrieve(query)
for node in nodes:
    print('----------------------------------------------------'