掌握 BM25：深入了解算法及其在 Milvus 中的应用

最新推荐文章于 2025-06-04 14:51:52 发布

吴脑的键客

最新推荐文章于 2025-06-04 14:51:52 发布

阅读量2.6k

点赞数 33

CC 4.0 BY-SA版权

分类专栏：人工智能文章标签：算法 milvus python

本文链接：https://blog.csdn.net/weixin_41446370/article/details/141309867

我们可以通过 Milvus 轻松实现 BM25 算法，将文档和查询转化为稀疏向量。然后，这些稀疏向量可用于向量搜索，根据特定查询找到最相关的文档。

信息检索算法在搜索引擎中非常重要，可确保搜索结果与用户的查询相关。

想象一下，我们正在寻找一个特定主题的研究论文。当我们在搜索引擎中输入 "RAG "作为关键词时，我们显然希望得到的是关于不同 RAG 方法的论文集，而不是其他一般的 NLP 方法。这就是信息检索算法发挥作用的地方。它们能确保我们获得与关键词高度相关的论文。

有两种常用的信息检索算法：TF-IDF 和 BM25。在本文中，我们将讨论有关 BM25 的一切。不过，在深入探讨之前，我们最好先了解一下 TF-IDF 的基本原理，因为 BM25 基本上是 TF-IDF 的扩展。

TF-IDF 的基本原理

词频-反向文档频率（TF-IDF）是一种基于统计方法的信息检索算法。它衡量文档中的关键词相对于文档集合的重要性。

从其名称可以看出，TF-IDF 由两部分组成：术语频率（TF）和反向文档频率（IDF）。它们衡量的是不同的方面，但最终，我们会将这两个部分相乘，得到最终的分数，从而估算出文档中某个词的相关性。

传统 TF-IDF 的 TF 部分衡量文档中特定关键词的出现率。

上述等式非常直观：我们在文档中找到的关键词实例越多，TF 值就越高。

另一方面，IDF 部分衡量的是包含关键词的文档在文档集中所占的比例。换句话说，这一部分告诉我们有多少文档中出现了我们的关键词。

我们可以看到，关键词在文档中出现的频率越高，其 IDF 分数就越低。这是因为我们要惩罚 “a”、“an”、"is "等常用词，因为它们往往出现在许多文档中。

计算完 TF 和 IDF 分量后，我们将结果相乘，得到关键词的最终 TF-IDF 分数。

从上面的最后一个等式中，我们可以看出，TF-IDF 能够捕捉到关键词的重要性，如果关键词在某一文档中出现的频率很高，而在其他文档中出现的频率却很低，那么它就会获得更高的分数。

在给定用户关键词或查询时，搜索引擎可以使用 TF-IDF 分数来衡量关键词与文档集之间的相关性。然后，搜索引擎可以对文档进行排序，并将最相关的文档呈现给用户。

TF-IDF 的问题

TF-IDF 公式有两个问题可以改进。

首先，假设我们有一个查询词 "兔子 "和两个要比较的文档。在文档 A 中，"兔子 "出现了 10 次，而该文档有 1000 个单词。另一方面，我们的关键词在文档 B 中只出现了一次，而该文档有 10 个单词。

仔细观察后，我们就会发现 TF-IDF 的局限性。文档 A 的 TF 得分为 10，而文档 B 的得分为 1。因此，与文档 B 相比，文档 A 将被推荐给我们。

但是，如果考虑到文件的长度，我们可能会说，与文件 A 相比，我们更喜欢文件 B。

如果一篇文档很短，但只出现了一次 “兔子”，那就更能说明该文档确实在谈论兔子。反之，如果一篇文档有数千字，但其中有 10 次提到 “兔子”，我们就不能确定该文档是否具体谈论了兔子。

为了解决这个问题，TF-IDF 的规范化变体将 TF 除以文档长度。这样，TF 部分的 TF 等式就是这样的：

但仍有一个问题需要优化，那就是关键词饱和度。

如果我们看一下 TF-IDF 的 TF 部分，我们在文档中找到的关键词越多，TF 就会越高。这种关系是线性的，这似乎是件好事，因为我们希望不断奖励包含我们关键词的文档。但是，如果我们在一篇文档中找到关键词 "兔子 "400 次，这是否真的意味着这篇文档的相关性是另一篇只出现 200 次的文档的两倍呢？

我们可以说，如果关键字 "兔子 "在一篇文档中出现了这么多次，我们就可以说这篇文档肯定与我们的关键字相关。该文档中关键词的额外出现次数不应该线性地增加其相关性的可能性。

文档中关键字出现次数从 2 次到 4 次所造成的分数跃升应该比从 200 次到 400 次的跃升影响更大。而这正是 TF-IDF 公式目前所缺少的。