SpanBERT

最新推荐文章于 2025-04-15 11:00:56 发布
最新推荐文章于 2025-04-15 11:00:56 发布
阅读量360 收藏 1
点赞数 2
分类专栏： NLP 人工智能 transformer

SpanBERT: Improving Pre-training by Representing and Predicting Spans

这篇论文的主要贡献有三：

1.提出了更好的 Span Mask 方案，也再次展示了随机遮盖连续一段字要比随机遮盖掉分散字好；
2.通过加入 Span Boundary Objective (SBO) 训练目标，增强了 BERT 的性能，特别在一些与 Span 相关的任务，如抽取式问答；
3.用实验获得了和 XLNet 类似的结果，发现不加入 Next Sentence Prediction (NSP) 任务，直接用连续一长句训练效果更好。
在这里插入图片描述

Span Masking

主要是随机mask掉连续的sub token, 直到所mask的token达到句子总token的15%

首先通过几何分布产生span的长度，span的长度最大为10，几何分布的p为0.2，所以平均的span长度为3.8,.
然后通过均匀分布，产生span的起始位置
在这里插入图片描述

SBO

Span Boundary Objective 是该论文加入的新训练目标，希望被遮盖 Span 边界的词向量，能学习到 Span 的内容。

具体做法是，在训练时取 Span 前后边界的两个词，值得指出，这两个词不在 Span 内，然后用这两个词向量加上 Span 中被遮盖掉词的位置向量，来预测原词.

实验结果

在这里插入图片描述

Transformer大模型实战 用SpanBERT 预测文本段
AI天才研究院
06-09 763
Transformer大模型实战 用SpanBERT 预测文本段 1.背景介绍 在自然语言处理(NLP)领域,预训练语言模型(Pre-trained Language Models)已经成为解决各种下游任务的关键技术。随着Transformer模型的出现,NL
Transformer大模型实战 将预训练的SpanBERT用于问答任务
AI天才研究院
07-03 947
Transformer大模型实战 将预训练的SpanBERT用于问答任务 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1
【深度学习】BERT变体—SpanBERT
Dong_ZH的博客
03-06 9333
SpanBERT出自Facebook，就是在BERT的基础上，针对预测spans of text的任务，在预训练阶段做了特定的优化，它可以用于span-based pretraining。这里的Span翻译为“片段”，表示一片连续的单词。SpanBERT最常用于需要预测文本片段的任务。SpanBERT所做的预训练调整主要是以下三点：1.使用一种span masking来代替BERT的mask；2.加入另外一个新的训练目标：Span Boundary Objective (SBO)；
深入理解深度学习——BERT派生模型：SpanBERT（Improving Pre-training by Representing and Predicting Spans）
热门推荐
冯·诺依曼
06-23 1万+
MLM训练方法是BERT拥有自然语言理解能力的核心训练方法。然而，BERT在预训练过程中挑选掩码词的概率是独立计算的，即BERT掩码词的粒度是最小的，可能是单个词，也可能是一个词的部分子词。SpanBERT的核心思想是，扩大掩码范围会让模型有更好的性能。SpanBERT没有修改BERT的结构，也没有使用更多的语料，仅仅通过设计更合理的预训练任务和目标，使模型有更好的性能表现，思路非常独特。
SpanBERT：提升预训练性能的利器
最新发布
gitblog_00518的博客
04-15 603
SpanBERT：提升预训练性能的利器 SpanBERT Code for using and evaluating SpanBERT. 项目地址: https://gitcode.com/gh_mirrors/sp/SpanBE...
BERT家族：spanBERT
qq_32223859的博客
05-26 2045
SpanBERT 论文：《SpanBERT: Improving Pre-training by Representing and Predicting Spans》 论文地址：https://arxiv.org/pdf/1907.10529 作者/机构：华盛顿大学+普林斯顿大学 年份：2019.8 SpanBERT对Bert的改进主要体现在对mask方式的改进，丢弃NSP任务和增加SBO（Span Boundary Objective）任务。其改进点如下： （1）Span mask方案
NLP中的预训练语言模型（二）—— Facebook的SpanBERT和RoBERTa
2401_85325557的博客
11-17 1002
除了这些之外还有两个策略，一是动态mask，在bert中是在数据预处理阶段对一条序列随机不同的mask 10次，而在这里是每次epoch时对序列使用不同的mask。二是bert中会在数据预处理阶段生成10%的长度短于512的序列，而在这里不做这样的操作，只是对一个document一直截取512长度的序列，但最后一个序列长度可能会小于512。另外将adam中的$\\epsilon$设置为1e-8。作者根据这两个策略从新训练了一个bert模型，同时去除NSP任务只使用单条序列训练了一个bert模型。因此作者给出
预训练模型（5）---- SpanBERT&RoBERTa&ERNIE2
小小鸟要高飞
10-03 2477
比较小众的预训练模型1. SpanBERT2. RoBERTa3. ERNIE2 本文主要介绍一些比较小众的预训练模型，这些模型不像Bert、XLNet等那么有影响力，都是在这些模型的基础上做的相关改进工作，但是这些工作可以引导我们学会如何优化模型，对我们的学习以及科研都会有很大的帮助。 首先是Facebook的提出的两个预训练模型——SpanBERT和RoBERTa。 1. SpanBERT 论...
Spanbert
qq_37008037的博客
03-24 515
这篇论文中提出了一种新的mask的方法，以及一个新损失函数对象。并且讨论了bert中的NSP任务是否有用 　如上图所示，首先这里的mask策略是span mask。具体的做法是首先从一个几何分布中采样span的长度，且限制最大长度为10，然后再随机采样（如均匀分布) span的初始位置。整个训练任务就是预测mask的token，另外mask的比例问题和bert中类似。 除了这些之外还有两个策略，一是动态mask，在bert中是在数据预处理阶段对一条序列随机不同的mask 10次，而在这里是...
基于SpanBert中文指代消解的pytorch实现源码（高分课程设计）.zip
11-15
基于SpanBert中文指代消解的pytorch实现源码（高分课程设计）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 基于SpanBert中文指代消解的pytorch实现源码（高分...
Transformer大模型实战 深入了解SpanBERT
AI天才研究院
07-07 372
随着自然语言处理(NLP)任务的日益复杂化，传统基于词袋或n-gram的方法逐渐显得力不从心。尤其是在处理长文本、理解句子间的细微差异时，这些方法难以捕捉到有效的上下文信息。为此，深度学习技术，特别是Transformer架构的引入，成为解决这一难题的关键突破。Transformer凭借其独特的注意力机制和并行化的计算方式，在多种NLP任务上展现出卓越的表现，并迅速成为了该领域研究的热点。SpanBERT的主要工作是通过构建一个通用的表示生成器，然后根据所需任务的不同，动态地调整输出以满足特定需求。
SpanBERT:使用和评估SpanBERT的代码
04-29
斯潘伯特 该存储库包含该论文的代码和模型： 。 要求 顶尖 请使用较早的Apex提交 预训练模型 我们发布这两个基地和SpanBERT大套管模型。 基本模型和大型模型具有与相同的模型配置，但是在掩蔽方案和训练目标上都有所不同（有关更多详细信息，请参见我们的论文）。 ：12层，隐藏头，110M参数 ：24层，隐藏1024、16头，340M参数 这些模型与模型具有相同的格式，因此您可以轻松地用我们的SpanBET模型替换它们。 如果您想使用我们，则模型路径已经在代码中进行了硬编码：） SQuAD 1.1 SQuAD 2.0 酷睿 Tyk F1 F1 平均F1 F1 BERT（基地） 88.5 * 76.5 * 73.1 67.7 SpanBERT（基础） 92.4 * 83.6 * 77.4 68.2 BERT（大） 91.3 83.3 77.1
SpanBERT（Span-based Pre-training of BERT）模型
彬彬侠的博客
03-06 1144
SpanBERT是Facebook AI Research（FAIR）和University of Washington在2019年提出的一种改进版BERT，专门用于学习更好的文本片段（Span）表示，特别适用于问答系统（QA）、关系抽取（RE）、实体链接等任务。采用Span Masking（Span级Mask），增强对长文本的理解。引入Span Boundary Objective（SBO），让模型更关注Span结构。可通过Hugging Face transformers直接加载SpanBERT进行推理
[预训练语言模型专题] SpanBERT: 抽取式问答的利器
yang191919的博客
06-20 2233
本文为预训练语言模型专题的第16篇。 快速传送门 1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族] 5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)] 9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart] 13-14：[跨语种模型]、[XLNet]，[RoBERTa] 知乎关注：https://zhuanlan.zhihu.com/naiveAI 感谢清华...
算法面试之SpanBERT
持续战斗状态的博客
09-08 687
顾名思义，使用Span片段进行Mask操作；与Roberta一样，舍弃了NSP任务，但是增加了SBO任务；Mask token的占比依然为15%，并按照811的规则替换。
中文预训练ALBERT模型来了：小模型登顶GLUE，Base版模型小10倍、速度快1倍
AI科技大本营
10-05 5010
（图片由AI科技大本营付费下载自视觉中国）作者 | 徐亮（实在智能算法专家)来源 | AINLP（ID：nlpjob）谷歌ALBERT论文刚刚出炉一周，中文预训练ALB...
解读SpanBERT:《Improving Pre-training by Representing and Predicting Spans》
小岁月太着急
08-11 7207
原文链接： https://arxiv.org/pdf/1907.10529.pdf 在本文中，作者提出了一个新的分词级别的预训练方法 SpanBERT ，其在现有任务中的表现优于 BERT ，并在问答、指代消解等分词选择任务中取得了较大的进展。对 BERT 模型进行了如下改进： 提出了更好的 Span Mask 方案，SpanBERT 不再对随机的单个 token 添加掩膜，而是对随...
spanbert动机’
12-30
### SpanBERT提出的背景和目的 为了改进现有的基于Transformer的语言模型，特别是针对连续片段的理解能力，一种新的方法被提出并应用于span-based预训练[^1]。传统的方法如BERT主要关注于单个token级别的masking策略，而未能充分捕捉更长跨度内的上下文关系。 新方法通过对BERT进行了两项重要扩展：一是采用随机遮蔽连续片段（masking continuous random spans），这使得模型能够学习到跨越多个词之间的依赖关系；二是引入边界表示的学习（training span boundary representations），从而实现对整个被掩盖片段内容的整体预测。这种设计旨在让模型更好地理解文本中较长距离的信息关联，并提高其在涉及多词语表达的任务上的表现力。 ```python # 这是一个简单的例子展示如何模拟Span-BERT的mask操作 import numpy as np def mask_continuous_spans(tokens, max_span_length=5): masked_tokens = tokens.copy() n = len(masked_tokens) while True: start = np.random.randint(0, n) length = min(np.random.geometric(p=0.2), max_span_length) if start + length <= n: break for i in range(start, start + length): masked_tokens[i] = "[MASK]" return masked_tokens tokens_example = ["This", "is", "an", "example", "sentence"] print(mask_continuous_spans(tokens_example)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值