RAG--重排序_rag重排序-CSDN博客

本文链接：https://blog.csdn.net/sccum/article/details/146344931

专题1：重排序的方法

方法1：利用bge-reranker模型的能力

在检索的时候一般用的是双塔模型，使用一个模型将query和document嵌入到一个空间中，然后使用ANN算法检索

在排序的时候使用cross-encoder模型将两句话拼接到一起计算出来一个值表示相似度

方法2：用prompt方式引导LLM进行重排序：

提示词：
The following are passages related to query {{query}}
[1]{{passage_1}}
[2]{{passage_2}}
(more passages)
Rank these passages based on their relevance to the query.

方法3：利用Colbert Reranker方式进行重排序

文章链接：万字长文梳理2024年的RAG - 知乎

专题2：重排序模块评价指标

2.1 NDCG

主要是两个思想：1.高相似性的结果一定比一般关联性的结果更影响最终的指标得分；2.高关联度的结果出现在更靠前的位置时，NDCG指标会更高

首先说明计算公式：

2.2 MRR

专题3：重排序模型的部署

利用xinference部署，文章链接：Xinference部署reranker模型_xinference部署bge-reranker-v2-m3-CSDN博客

专题4：其他小问题

4.1 下载reranker模型的时候要下载完整，如果下载不完整的话会导致没办法加载初始权重