中文实体识别（采用BERT）

最新推荐文章于 2025-04-16 21:44:30 发布
最新推荐文章于 2025-04-16 21:44:30 发布
阅读量407 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习（pytorch+tensorflow） 文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27166635/article/details/120134614
该博客探讨了如何运用BERT模型进行中文实体识别。首先，进行了数据预处理，包括构建标签字典并保存为pkl文件。接着，处理输入序列，确保不超过BERT的最大长度，并进行字符到ID的转换及填充操作。然后，输入到BERT模型中，通过全连接层进行预测，再结合CRF进行序列标注。博客主要关注自然语言处理中的深度学习技术及其在中文实体识别任务上的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

中文实体识别（采用BERT）

数据预处理

构建标签字典在这里插入图片描述

保存为pkl文件方便读取。
在这里插入图片描述

读取数据

  1. 字对应标签list序列
  2. 序列截断操作，不超过最大长度，否则就截断。在这里插入图片描述
  3. 处理为BERT对应的字符在这里插入图片描述
  4. 将字符转为id索引在这里插入图片描述
  5. 长度不够，需要填充0（在bert中，填充的0不会计算self-attention，需要用到mask）在这里插入图片描述

输入到BERT模型中

  1. （见BERT学习笔记）得到输出结果为[batch_size,leng,dim]在这里插入图片描述
  2. 对输出向量进行标签预测
    W维度[dim,标签类别]、b偏差值[11]
    经过全连接层非线性函数输出每一个字对应的预测类别结果向量[batch*len,11]
    在这里插入图片描述
    在这里插入图片描述

将结果输入到CRF中在这里插入图片描述

  1. 构建转移矩阵[num_class,num_class]在这里插入图片描述
  2. 计算似然函数在这里插入图片描述
基于BERT的中文命名实体识别识别实战
qq_52053775的博客
05-17 1609
通过这样的机制，CRF模型在整个序列上优化所有标签的联合概率，确保不仅是单个标签的选择合理，而且整个序列的标签分配也是全局最优的，这就体现了概率转移规则在命名实体识别中的作用。对于“李华”，CRF模型会考虑“开始位置+李华->B-PER”的发射特征以及后续位置上的标签转移概率，比如从“B-PER”转移到“I-PER”或转移到其他类型如“B-LOC”的概率。对于“大学”，由于前面是“北京”，模型会高概率地分配“大学”以“I-LOC”标签，利用先前的“B-LOC”作为上下文，这是基于状态转移概率的决策。
自然语言处理之命名实体识别：BERT：10.命名实体识别实战：中文命名实体识别
zhubeibei168的博客
04-16 804
我们将使用一个中文NER数据集，例如MSRA NER。这个数据集包含了大量标注了实体的中文文本，实体类别包括人名、地名和机构名。BERT, 即Bidirectional Encoder Representations from Transformers，是由Google在2018年提出的一种基于Transformer的深度学习模型。其核心创新在于使用双向的Transformer Encoder来预训练语言模型，从而能够理解上下文中的词语关系，生成更高质量的词向量。
BilSTM 实体识别_NLP实战-中文命名实体识别
weixin_39699163的博客
11-22 1315
前言：本文章将通过pytorch作为主要工具实现不同的模型（包括HMM，CRF，Bi-LSTM，Bi-LSTM+CRF）来解决中文命名实体识别问题，文章不会涉及过多的数学推导，但会从直观上简单解释模型的原理，主要的内容会集中在代码部分。本文的目录结构如下：概览任务描述首先，我们明确一下命名实体识别的概念：命名实体识别（英语：Named Entity Recognition），简称NER，是指识别文...
基于BERT的中文命名实体识别
热门推荐
Mrhan的博客
03-23 1万+
代码和数据都存放在了github上：https://github.com/xuanzebi/BERT-CH-NER 欢迎大家STAR啊，来让我收获人生的第一个STAR吧 2333~~~~~ 基于上课老师课程作业发布的中文数据集下使用BERT来训练命名实体识别NER任务。 之前也用了Bi+LSTM+CRF进行识别，效果也不错，这次使用BERT来进行训练，也算是对BERT源码进行一个阅读...
中文名实体识别
囡囡的博客
12-07 653
命名实体识别的两种方法https://blog.csdn.net/babydx/article/details/77836810 中文命名实体识别总结（简书）https://www.jianshu.com/p/34a5c6b9bb3e 命名实体：中文命名实体识别简介https://blog.csdn.net/sinat_33741547/article/details/79126446 中...
中文命名实体识别
09-18
主要是用来处理中文的命名实体识别，主要是用tensorflow
基于BERT+BiLSTM+CRF实现中文命名实体识别
05-20
1、目录结构 data: 训练数据集 models: 构造的模型 ...创建bert_model路径，将预训练好的bert模型放到这个路径下解压 具体结构如下： python3 run.py --mode xxx xxx: train/test/demo，默认为demo
基于BERT-BILSTM-CRF进行中文命名实体识别python源码.zip
09-13
基于BERT-BILSTM-CRF进行中文命名实体识别python源码.zip，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为毕设、课程设计期末大作业使用...
【BERT系列】——命名实体识别
01-07
本文是BERT实战的第二篇，使用BERT进行命名实体识别（序列标注类任务）。 1. 准备 1.1 环境 python 3.7； pytorch 1.3； transformers 2.3 （安装教程）； 1.2 数据 数据链接（链接：...
自然语言处理之命名实体识别：BERT模型结构详解
最新发布
zhubeibei168的博客
04-16 711
在自然语言处理(NLP)领域，深度学习模型如循环神经网络(RNN)和长短期记忆网络(LSTM)在处理序列数据时取得了显著的成果。然而，这些模型在处理语言理解任务时，往往需要大量的标注数据和复杂的特征工程。
Python-用谷歌BERT模型在BLSTMCRF模型上进行预训练用于中文命名实体识别的Tensorflow代码
08-10
Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning
BERT-CH-NER：基于BERT的中文命名实体识别
02-03
基于BERT的中文数据集下的命名实体识别（NER） 基于tensorflow官方代码修改。 环境 Tensorflow：1.13 的Python：3.6 tensorflow2.0会报错。 搜狐比赛 在搜狐这个文本比赛中写了一个基准，使用了bert以及bert + lstm + crf来进行实体识别。 其后只使用BERT的结果如下，具体评估方案请看比赛说明，这里的话只做了实体部分，情感全部为POS进行的测试嘲笑。 使用bert + lstm + crf结果如下 训练验证测试 export BERT_BASE_DIR=/opt/hanyaopeng/souhu/data/chinese_L-
中文命名实体识别语料（MSRA+人民日报+Boson）
11-11
适合作为命名实体识别的补充预料，包括微软亚研院MSRA：46365条语料、人民日报：23061条语料和Boson:2000条语料。都是标注过的，非常实用，适合新手作为刚开始的模型练习。
基于BERT预训练的中文命名实体识别TensorFlow实现-附件资源
03-05
基于BERT预训练的中文命名实体识别TensorFlow实现-附件资源
BERT实战：中文命名实体识别
rip -- shun
11-29 3745
使用bert实现的一个NER10标签任务 github：nlp-code/bert命名实体识别.ipynb at main · cshmzin/nlp-code (github.com)bert介绍博客：Simple to Bert | Ripshun Blog数据集来源：CLUE官网（细粒度NER任务） 获取数据： # 获取数据 import json train_data = [] dev_data = [] test_data = [] for line in open(.
bert代码解读4----中文命名实体识别
qqywm的博客
01-01 6308
bert代码解读之中文命名实体识别 中文ner Use google BERT to do CoNLL-2003 NER 数据处理部分：20864句话， train-0:tokens tokens:汉字 inpu_ids:转换成词典中对应的id input_mask:对应的mask，此处只是一句话，该句话处理成1，其他的不够128的长度的部分补0 segment_ids:只有一...
中文命名实体识别：基于PyTorch的多模型中文命名实体识别
zp563987805的博客
02-29 1万+
命名实体识别作为序列标注类的典型任务，其使用场景特别广泛。本项目基于PyTorch搭建HMM、CRF、BiLSTM、BiLSTM+CRF及BERT模型，实现中文命名识别任务，部分内容参考了https://zhuanlan.zhihu.com/p/61227299，全部代码链接上可找。 数据集 数据集来源于ACL 2018Chinese NER using Lattice LSTM论文中从新浪财经收...
python的中文命名实体识别
chengxuyuanlaow的博客
07-16 1583
NER（中文实体命名识别）关键字: 中文命名实体识别 NER BILSTM CRF IDCNN BERT摘要：对中文命名实体识别一直处于知道却未曾真正实践过的状态，此次主要是想了解和实践一些主流的中文命名实体识别的神经网络算法。通过对网上博客的阅读了解，中文命名实体识别比较主流的方法是BILSTM+CRF、IDCNN+CRF、BERT+BILSTM+CRF这几种神经网络算法，这个demo也用Keras实现了这几个算法，并且采用几个比较通用的数据集进行训练测试。
Bert命名实体识别数据集使用指南
资源摘要信息:"本压缩包ner_data.zip包含了针对Bert模型的命名实体识别（Named Entity Recognition, NER）任务的数据集demo。Bert模型是一种预训练语言表示模型，它通过双向Transformer模型学习文本中的上下文信息，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值