相关性算法BM25的python实现

最新推荐文章于 2025-06-13 18:36:32 发布
最新推荐文章于 2025-06-13 18:36:32 发布
阅读量9.4k 收藏 26
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/phasorhand/article/details/104647848
本文深入解析BM25算法的计算原理，包括词频、逆文档频率及TF值变换，并通过gensim库的BM25模型实现文本相似度计算。展示了中文分词、构建语料库、训练模型及计算相似性的完整流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

计算原理

在这里插入图片描述

  • 第一项c(w,q)就是搜索q中词w的词频
  • 第三项是词w的逆文档频率，M是所有文本的个数，df(w)是出现词w的文本个数
  • 中间的第二项是关键，实质是词w的TF值的变换，c(w,d)是词w在文本d中的词频。首先是一个TF Transformation，目的是防止某个词的词频过大，经过下图中公式的约束，词频的上限为k+1，不会无限制的增长。例如，一个词在文本中的词频无论是50还是100，都说明文本与这个词有关，但相关度不可能是两倍关系。

优点

开源实现

snownlp
gensim_bm25
rank_bm25

实践

一般流程（对于中文）

  1. 构建corpus
    1.1. 构建停用词词表（可加入部分高频词）
    1.2. 分词
    1.3. 去除停用词
  2. 训练BM25模型
  3. 使用模型计算相似性

gensim的使用

from gensim.summarization import bm25


def test_gensim_bm25():
    corpus = [
    ['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多'], 
    ['第1', '个', '是', '应该', '第2', '个', '是'], 
    ['不', '对', '应该', '就是', '差', '不', '多'], 
    ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']]
    
    bm25Model = bm25.BM25(corpus)

    test_strs = [
        ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁'],
        ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁', '问题', '第1', '个'],
        ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁', '问题', '第1', '个','来', '问', '几', '个', '问题'],
        ['应该', '差', '不', '多', '一定', '要', '退', '60', '岁'],
        ['差', '不', '多', '一定', '要', '退'],
        ['一定', '要', '差', '不', '多', '退'],
        ['一定', '要', '退'],
        ['一定', '差', '不', '多'],
    ]
    for test_str in test_strs:
        scores = bm25Model.get_scores(test_str)
        print('测试句子：', test_str)
        for i, j in zip(scores, corpus):
            print('分值：{},原句：{}'.format(i, j))
        print('\n')

if __name__ == '__main__':
    test_gensim_bm25()

运行结果

测试句子： ['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']
分值：0.2828807225045471,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0.226504790662966,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.42164043562468434,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：2.2007072441488233,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['应该', '差', '不', '多', '一定', '要', '退', '60', '岁']
分值：0.202827468444139,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0.09756782248085916,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.42164043562468434,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.2213019690359779,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['差', '不', '多', '一定', '要', '退']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.1406697377282669,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['一定', '要', '差', '不', '多', '退']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：1.1406697377282669,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['一定', '要', '退']
分值：0.0,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：0.898773043805134,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']


测试句子： ['一定', '差', '不', '多']
分值：0.15212060133310423,原句：['来', '问', '几', '个', '问题', '第1', '个', '就', '是', '60', '岁', '60', '岁', '的', '时候', '退休', '是', '时间', '到', '了', '一定', '要', '退休', '还是', '觉得', '应该', '差', '不', '多']
分值：0,原句：['第1', '个', '是', '应该', '第2', '个', '是']
分值：0.3240726131438252,原句：['不', '对', '应该', '就是', '差', '不', '多']
分值：0.24189669392313295,原句：['所以', '是', '应该', '差', '不', '多', '还是', '一定', '要', '退', '60', '岁']

更多关于gensim BM25

想取得生成模型后的逆文档频率，只需访问其属性idf

TODO

  • 对开源实现的深度优劣分析

参考：
python根据BM25实现文本检索

BM25:最佳匹配 ，文本相关性评分算法
ZJQ的博客
11-06 519
这通常是一个根据文档长度和平均文档长度计算得到的调整因子，用于平衡较长和较短文档在相关性计算中的差异。由于我们只有一个简单的例子，无法准确计算这个调整系数，但可以假设《篮球基础》由于较长，其调整系数会稍微降低；：由于我们只有一个简单的文档集合，无法准确计算IDF值，但可以假设“篮球”在文档集合中有一定的普遍性，因此IDF值不会太高也不会太低。BM25算法的得分计算公式可以简化为：{得分} = {关键词出现的次数} * {关键词的重要性} * {文档长度调整系数}。因素，以计算文档与查询之间的相关性。
句子相似 BM25 python 实现
FREEDOM
09-20 2682
# -*- coding: utf-8 -*- import math class BM25(object): def __init__(self, docs): """ :param docs: 分好词的list """ self.D = len(docs) self.avgdl
BM25检索算法 python
消极的人永远是对的，积极的人选择勇往直前
04-23 4772
BM25（Best Matching 25）是一种经典的信息检索算法，是基于 TF-IDF算法的改进版本，旨在解决、TF-IDF算法的一些不足之处。其被广泛应用于信息检索领域的排名函数，用于估计文档D与用户查询Q之间的相关性。它是一种基于概率检索框架的改进，特别是在处理长文档和短查询时表现出色。BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。目前被广泛运用的搜索引擎ES就内置了BM25算法进行全文检索。
BM25算法，python实现（源代码）
升级打怪记录
12-08 1715
python实现BM25算法，源代码
一文搞懂 BM25 检索器：核心原理与快速上手指南
最新发布
佑瞻的博客
06-13 1120
BM25 的核心价值在于：用简单高效的方式解决 TF-IDF 的固有缺陷，适合需要精准关键词匹配的场景。用上述代码跑通第一个 BM25 检索案例；在电商搜索、企业文档检索等场景测试效果；对比 BM25 与向量检索的差异，建立技术选型认知。
BM25算法的python实现
weixin_30786617的博客
09-20 809
原作者：https://blog.csdn.net/u011734144/article/details/79559295 转的 import math import jieba from utils import utils # 测试文本 text = ''' 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。 它研究能实现人与计算机之间用自然语言进行有效通信...
Python实现内容检索子系统(BM25算法)
ablu56590的博客
11-29 1148
一、检索模型 搜索引擎一般流程如下： 从检索后面都属于检索模型的范畴。 搜索结果排序是搜索引擎最核心的部分，很大程度度上决定了搜索引擎的质量好坏及用户满意度。实际搜索结果排序的因子有很多，但最主要的两个因素是用户查询和网页内容的相关度，以及网页链接情况。这里主要介绍网页内容和用户查询相关的内容。判断网页内容是否与用户査询相关，这依赖于搜索引擎所来用的检索模型。检索模型是搜索引...
bm25 python
Love-Coding
05-13 749
https://github.com/dorianbrown/rank_bm25
基于python的BM25文本匹配算法实现+源代码+文档说明
12-01
BM25算法原理参见我的博文：[【NLP】非监督文本匹配算法——BM25] 测试程序： ```python bm25 = BM25() result = bm25.cal_similarity("自然语言处理并不是一般地研究自然语言") for line, score in result: ...
【Lucene】搜索引擎和文档相关性评分 BM25 算法的工作原理
weiliang_Handan的博客
11-21 1526
BM25 是一种流行的文本检索算法，广泛用于搜索引擎和文档相关性评分。它基于概率检索模型，旨在评估查询和文档之间的相关性。
python-bm25:python的BM25加权方案的实现
05-16
python-bm25 python的BM25加权方案的实现
TF-IDF和BM25算法原理及python实现
12-21
1 TF-IDF TF-IDF是英文Term Frequency–Inverse Document Frequency的缩写，中文叫做词频-逆文档频率。 一个用户问题与一个标准问题的TF-IDF相似度，是将用户问题中每一词与标准问题计算得到的TF-IDF值求和。计算公式如下： TF-IDF算法，计算较快，但是存在着缺点，由于它只考虑词频的因素，没有体现出词汇在文中上下文的地位，因此不能够很好的突出语义信息。 import numpy as np class TF_IDF_Model(object): def __init__(self, documents_list):
山东大学 信息检索技术课设 BM25算法实现
07-15
2020年陈竹敏老师教授的信息检索技术的课设解决方案，语言为python，在提供的baseline基础上进行了一定的修改，包括文档预处理（停用词去除，大小写转换）等处理，MMR可达0.5。
BM25算法介绍
01-04
BM25算法的详细资料，需要的可以参考，比较完整的实现过程。
python根据BM25实现文本检索
热门推荐
github_39281554的博客
06-23 1万+
根据BM25实现文本检索
Python bm25短文本分类，相似度识别，BM25算法相似度匹配，疾病相似度匹配gensim实现，bm25算法原理和实现实例
L_goodboy的博客
04-26 6001
Python bm25短文本分类，相似度识别，BM25算法相似度匹配，疾病相似度匹配gensim实现，bm25算法原理和实现实例
文本相似度BM25算法python实现（可执行）以及所有函数的详细解释
Blackoutdragon的博客
02-04 2279
各个部分代码详解 inition（docs） def inition(docs): # D为所有文档的总共数量 D = len(docs) # 通过lamba计算所有的文档的长度的总和，并求取平均值，计算总平均长度 avgdl = sum([len(doc) + 0.0 for doc in docs]) / D # 遍历所有的文档 for doc in docs: tmp = {} # 遍历某一个文档中的所有的词语，统计其出现
[论文笔记]BM25S：Python打造超越RANK-BM25的实现
日积月累，天道酬勤
08-08 3266
首先介绍了一种新的计算 BM25 分数的方法，速度远超RANK-BM25(BM25Okapi)。最后通过代码实战中文上的表现。
通信算法python_BM25算法的python实现
weixin_42382558的博客
02-12 408
原作者：https://blog.csdn.net/u011734144/article/details/79559295转的import mathimport jiebafrom utils import utils# 测试文本text = '''自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言...
BM25python
05-27
### BM25算法在Python中的实现 BM25是一种基于概率模型的信息检索排名函数，广泛应用于搜索引擎和其他文本匹配场景。以下是几种常见的BM25算法在Python中的实现方式。 #### 使用Rank_bm25库 `rank-bm25` 是一个专门为BM25设计的高效Python库。它支持向量化操作并能快速处理大规模数据集[^4]。 安装该库可以通过pip完成： ```bash pip install rank-bm25 ``` 下面是一个简单的例子展示如何使用 `rank-bm25` 进行文档相似度计算： ```python from rank_bm25 import BM25Okapi corpus = [ "Hello there good man", "It is quite windy in London", "How is the weather today?" ] tokenized_corpus = [doc.split(" ") for doc in corpus] bm25 = BM25Okapi(tokenized_corpus) query = "windy London" tokenized_query = query.split(" ") doc_scores = bm25.get_scores(tokenized_query) print(doc_scores) # 输出每篇文档的相关性分数 ``` 此代码片段展示了如何通过分词后的语料库创建BM25对象，并利用输入查询获取相关性得分[^4]。 #### 自定义BM25实现 如果不想依赖第三方库，则可以手动编写BM25的核心逻辑。以下提供了一个简化版的手动实现方案： ```python import math from collections import Counter class SimpleBM25: def __init__(self, documents, k1=1.5, b=0.75): self.documents = documents self.k1 = k1 self.b = b self.avgdl = sum(len(doc.split()) for doc in documents) / len(documents) self.idf = self._calculate_idf() def _calculate_idf(self): df = {} N = len(self.documents) for document in self.documents: words = set(document.split()) for word in words: if word not in df: df[word] = 0 df[word] += 1 idf = {word: math.log((N - freq + 0.5) / (freq + 0.5)) for word, freq in df.items()} return idf def get_score(self, query): scores = [] query_words = query.split() for idx, document in enumerate(self.documents): score = 0 doc_len = len(document.split()) tf = Counter(document.split()) for term in query_words: if term in self.idf and term in tf: numerator = self.idf[term] * ((tf[term] * (self.k1 + 1))) denominator = tf[term] + self.k1 * (1 - self.b + self.b * (doc_len / self.avgdl)) score += numerator / denominator scores.append(score) return scores documents = ["Hello there good man", "It is quite windy in London", "How is the weather today?"] bm25_model = SimpleBM25(documents) scores = bm25_model.get_score("windy London") print(scores) # 手动计算的结果与实际应用可能略有差异 ``` 这段代码实现了基本的BM25功能，包括逆文档频率(IDF)以及TF-IDF权重调整机制[^5]。 ### 性能优化建议 当面对更大规模的数据时，考虑引入更高效的工具如Annoy、Faiss或者Milvus来替代传统的Elasticsearch SVS方法可能会带来性能上的提升，尽管这会牺牲部分功能性[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值