N10 - NLP中的注意力机制

已于 2024-08-29 14:38:52 修改
阅读量1.1k 收藏 12
点赞数 9
CC 4.0 BY-SA版权
分类专栏： 深度学习 自然语言处理 文章标签： 自然语言处理 人工智能 深度学习
于 2024-08-29 13:51:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen_blog/article/details/141675624

目录

1. 注意力机制是什么

在上节的seq2seq框架中，让两个循环神经网络（RNN）构成了 编码器-解码器 结构。其中编码器逐个读取输入词，获得固定维度的向量表示，然后解码器基于这些输入逐个提取输出词。
RNN构成 编码器-解码器结构
上面的结构的问题在于，解码器从编码器接受的唯一信息是 最后一个编码器隐藏状态，这是类似于对输入的序列进行总结。

所以对于较长的输入文本，结构会变成如下图所示
较长文本的RNN结构
如果仍然希望解码器仅仅利用最后一个编码器的隐藏状态的输出就输出完成的译文，肯定是不太合理地，会导致灾难性遗忘。

所以我们如果可以向解码器提供每个编码器时间步的向量表示，而不是只把最终的给它，是不是就能改进翻译的结果呢

最低0.47元/天 解锁文章
【深度学习的骨架与脉搏】注意力机制（三）（不同注意力机制对比）
十二月的猫
04-24 5712
1、注意力机制是一个方法群体的总称（父类）2、自注意力、交叉注意力机制都是对注意力机制的继承，对QKV来源进行了限制3、注意力机制本身对QKV的限制仅仅在操作方法上4、自注意力机制主要用于单一序列的内部分析；交叉注意力机制用于多模态学习（多序列分析）
开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-05 1万+
解析Qwen3-8B与vLLM的技术协同逻辑，探讨其在复杂任务中的性能表现及落地价值。
【NLP】深入浅出全面回顾注意力机制
小哲的博客
08-08 1546
之前的博文已经学习过注意力机制，今天我们重新回顾一下。理解注意力机制是学会Transformer的基石，例如Seq2Seq引入注意力机制、Transformer使用自注意力机制（self-Attention Mechanism），使得NLP、推荐系统等方面取得了新的突破。
一篇了解NLP中的注意力机制
数智物语
03-20 9789
文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。 转自 | AI小白入门（公众号ID: StudyForAI） 作者 | yuquanle，985在读硕士，目前研究方向为自然语言处理 00 目录 1.写在前面 2.Seq2Seq 模型 3.NLP中注意...
NLP（1）--NLP基础与自注意力机制
NPU 研0
09-03 811
词向量、词向量的离散表示和分布式表示、RNN的概述、Seq2Seq、自注意力机制的构成与矩阵运算
NLP实践九：Attention原理与文本分类代码实践
chen_yiwei的博客
03-18 5373
文章目录Attention机制的通用定义Seq2Seq中的Attention什么是Seq2Seqattention在seq2seq中的应用计算attention的第一步计算attention的第二步计算attention的第三步计算attention的第四步几种常见的attention向量计算方式Soft-attentionHard-attentionlocal attention （半软半硬at...
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
丨汀、的博客
08-07 809
RAG私域问答场景升级版方案(第二期方案)[2]：工业级别构建私域问答（业务问题、性能问题、安全成本问题等详细解决方案）
清华学姐三年的测试成长经历，到最后的喜提高薪offer
分享测试知识
11-02 1771
上个礼拜刚好转正了，三个月试用期，五月份换的工作。现在这份工作，相比上一份确实好很多，比如工资直接涨了一倍，7到14，13薪，朝九晚六，从不加班，项目也简单，包括我在内测试组一共有7个同事，但是每个人分到的任务真的很少，用自己一句话总结就是上班7.5小时，摸鱼6个钟。。。对，我现在的公司是7.5小时制的，所以才说轻松。说一说上一份工作吧，因为刚换工作没多久，目前这份工作还没什么代表性，上一份我干了2年，可以让我讲很久了。
ACE的陷阱
C++是促进脑死亡的最佳方式
09-12 2万+
                             ACE的陷阱坦白说，使用这个标题无非是希望能够吸引你的眼球,这篇文章的目的仅仅是为了揭示一些ACE缺陷的。文章适合的读者是对ACE（ADAPTIVE Communication Environment）有一定研究，或者正在使用ACE从事项目开发的人士参考。如果你对C++还是新手，甚至包括ACE知识初学者，（但你想飞的更高），
深入理解深度学习——注意力机制（Attention Mechanism）：多头注意力（Multi-head Attention）
冯·诺依曼
06-09 1万+
为此，与其只使用单独一个注意力汇聚， 我们可以用独立学习得到的组不同的 线性投影（Linear Projections）来变换查询、键和值。然后，这组变换后的查询、键和值将并行地送到注意力汇聚中。最后，将这个注意力汇聚的输出拼接在一起， 并且通过另一个可以学习的线性投影进行变换， 以产生最终输出。在实践中，当给定相同的查询、键和值的集合时，我们希望模型可以基于相同的注意力机制学习到不同的行为， 然后将不同的行为作为知识组合起来， 捕获序列内各种范围的依赖关系 （例如，短距离依赖和长距离依赖关系）。
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 14万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
NLP硬核入门-Seq2Seq和Attention机制
zenRRan的博客
11-09 538
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要15分钟跟随小博主，每天进步一丢丢来自：数论遗珠本文需要的前序知识储备是：循环神经网络RNN，词向量WordEmbedding，门控...
【NLP】注意力机制：规则、作用、原理、实现方式
逐梦苍穹的博客
08-16 1632
注意力机制的规则、作用、原理、实现方式【数学+图解】
关于attention机制在nlp中的应用总结
向着星辰大海
06-05 2万+
一、传统encoder-decoder模型 encoder-decoder模型 也就是编码-解码模型。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。 具体实现的时候，编码器和解码器都不是固定的,可选的有CNN/RNN/BiRNN/GRU/LSTM等等，你可以自由组合。比如说，你在编码时使用BiRNN,解码时使用RNN，或者在编码时使...
通俗解读NLP中几种常见的注意力机制
计算机与数学领域的学习、分享、交流。
03-11 1万+
注意力机制在NLP领域中有广泛的应用，诸如机器翻译、智能对话、篇章问答等。在模型设计中使用注意力机制，可以显著提升模型的性能。然而，对于初识注意力机制的朋友来说，可能会有这样的疑问：自然语言处理中说的注意力机制到底是啥？它与我们大脑中的注意力有何联系？它是如何实现的？面对诸多疑问，本文将用通俗的语言来解开这些困惑。本文首先简单介绍一下认知神经学中的注意力。接着，详细解说NLP领域常见的三种注意力机制：Bahdanau注意力、Luong注意力和自注意力（self-attention）。最后，对几种注意力机制进
综述：计算机视觉中的通道注意力机制
weixin_43913124的博客
02-28 3万+
综述：计算机视觉中的通道注意力机制 这是一篇从数据域的角度，给注意力机制分为六类的综述，涵盖论文数量多。 论文题目：Attention Mechanisms in Computer Vision: A Survey 论文链接：https://arxiv.org/pdf/2111.07624.pdf 论文代码： https://github.com/MenghaoGuo/Awesome-Vision-Attentions ABSTRACT: 人类可以自然有效地在复杂场景中发现显著区域。在这种观察的激励下，注
通道注意力机制SEblock
weixin_43577679的博客
03-16 6603
对于任何给定的变换，例如卷积或一组卷积操作，都可以添加一个相应的挤压和激励模块（Squeeze-and-Excitation block）[14] 用于重新校准特征。 如图1所示，特征U首先经过一次挤压(squeeze)操作，通过在空间维度上整合特征图的方式，生成一个通道描述符。该描述符中嵌入了通道特征响应的全局分布，目的在于帮助网络更低层利用来自全局感受野的信息。之后进行一次激励(exciation)操作，通过基于通道间依赖性的自门限机制(self-gating mechanism)来考察各通道间的依赖
论文浅尝 | 基于知识引导的检索增强生成，实现大型语言模型的深度与忠实推理（ICLR2025）
最新发布
开放知识图谱
06-18 1151
的推理能力和忠实度。这种迭代流程模仿了人类解决问题时的探索方式，即基于现有线索逐步扩展和深化对问题的理解，每次迭代都通过知识图谱和文本的交互作用来缩小检索范围，最终找到能够回答问题的关键信息。在复杂知识推理任务中的性能。该框架利用知识图谱的结构化关系来指导文本检索，确保检索过程能够捕捉到实体间的深层次关联，同时通过文本上下文优化知识图谱的检索，从而实现更精准和全面的知识发现。）和文本检索，利用知识图谱的结构化关系指导文本检索过程，同时借助文本上下文优化知识图谱的检索，从而实现深度和全面的检索过程。
本科毕业设计--基于大语言模型的知识图谱构建
BREKOJI的博客
06-17 152
本文提出了一种基于LoRA微调Qwen2.5-0.5B大模型的知识图谱构建方法，用于从工业场景说明书中提取实体关系三元组。针对大模型直接使用Prompt提取时存在的输出控制问题，通过LoRA微调显著提升了三元组提取效果。方法包含四个关键环节：1) 自动生成工业领域训练数据集；2) 对Qwen模型进行4-bit量化后的LoRA微调；3) 三元组提取效果评估对比；4) 使用Neo4j构建可视化知识图谱。实验结果表明，微调后的模型在F1分数上提升了11.5%，且能够稳定生成结构化输出。该方法可泛化至医疗、餐饮等其
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值