视觉注意力机制的发展历程-Attention-Family

最新推荐文章于 2025-04-26 13:37:37 发布
最新推荐文章于 2025-04-26 13:37:37 发布
阅读量2.8k 收藏 62
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 注意力机制 文章标签： 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CharmsLUO/article/details/109804309

目录

视觉注意力机制的发展历程-Attention-Family

今天笔者发神经想记录一下视觉注意力机制的发展历程在这里插入图片描述
----------------------------------------------------------attention主要的发展路径及目前的主流方法------------------------------------------------
自从Attention 机制继在 NLP 领域不错的效果之后，Attention 机制也在 CV 领域迅速拉开了大幕。以 Kaiming He 组的 Nonlocal为起点，迅速开启了Attention 时代。此后层出不穷的文章，犹如雨后春笋般开遍了整个CV领域。
下面以时间线为轴记录视觉注意力机制的发展论文以及代码：
在这里插入图片描述

---------------------------------2015-------------------------------------

Spatial Transformer Networks(NIPS)

论文下载：paper-Spatial Transformer Networks
论文解读：Spatial Transformer Networks
代码下载：github-Spatial Transformer Networks

---------------------------------2016-------------------------------------

Attention to Scale-Scale-aware Semantic Image Segmentation(CVPR)

论文下载：paper-Attention to Scale-Scale-aware Semantic Image Segmentation
论文解读：Attention to Scale-Scale-aware Semantic Image Segmentation
代码下载：————————————————————————————

---------------------------------2017-------------------------------------

Attention Is All You Need

论文下载：Attention Is All You Need

Semi-Supervised Classification with Graph Convolutional Networks(ICLR)

论文下载：Semi-Supervised Classification with Graph Convolutional Networks

Residual Attention Network for Image Classification

论文下载：paper-Residual Attention Network for Image Classification
论文解读：Residual Attention Network for Image Classification
代码下载：1-Residual Attention Network for Image Classification
代码下载：2-Residual Attention Network for Image Classification

---------------------------------2018-------------------------------------

GAN:Graph Attention Networks

论文下载：Graph Attention Networks
论文代码：Graph Attention Networks

Graph-Based Global Reasoning Networks

论文下载：paper-Graph-Based Global Reasoning Networks
论文解读：Graph-Based Global Reasoning Networks

NLNet:Compact Generalized Non-local Network

论文下载：Compact Generalized Non-local Network

BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation(ECCV)

论文下载：BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation
论文解读：BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation
代码下载：BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation

最低0.47元/天 解锁文章
注意力机制的发展历史
JeffanChen的博客
09-23 1177
注意力机制的发展经历了几个关键阶段，每个阶段都有其独特的贡献。
注意力机制
Yore_的博客
03-30 2506
最近在看注意力机制，开始是从Google 2017年的那篇Attention is all you need的论文读起，在大概了解了自注意力机制以后，还是有很多疑问，所以就查阅了很多资料，试图梳理一下注意力机制的发展脉络。下面列出的参考资料都是我认为很不错的内容，统一在开篇列出。本文并不涉及太多深入的讲解，更多的是想从宏观的角度出发，对注意力机制的发展过程做一个简要的梳理，比如每一个阶段遇到什么问题？是如何解决的？解决的方案本身又存在什么问题？正是这些问题推动了它的进一步的发展。 参考资料： 论文：
【自然语言处理】聊聊注意力机制(Attention Mechanism)的发展
一起来书写我们的青春
08-08 4364
前言 其实，关于注意力机制的文章真的有很多，而且写得相当精彩（毕竟过去这么多年了），那这篇侧重于简单的一个介绍，使大家对注意力机制有个初步了解。 正文 首先这件事还要从序列到序列模型（Seq2seq Model）开始说起，最早的序列到序列模型是一个CNN+LSTM。 简单来说就是把CNN把编码端映射成一个固定向量，然后用LSTM一步步解码。 接着一个自然的想法是使用LSTM，因为LSTM的处理序列...
CNN注意力机制的进化史：深度解析10种注意力模块如何重塑卷积神经网络
寸先生的AI道路
04-08 1213
从SE到SSCA，注意力机制正从"单一增强"走向"协同进化"。下一个突破点会是动态可重构的注意力吗？让我们共同见证深度学习的新篇章！
一文读懂计算机视觉中的注意力机制原理及其模型发展
AI科技大本营
08-02 5803
作者&编辑 | 言有三来源 |AI有道（ID:yanyousan_ai）导读：Attention机制在近几年来在图像，自然语言处理等领域中都取得了重要的突破，被...
Transformer自注意力机制发展历程(原理)
u013177138的博客
12-24 1599
问题：处理机器翻译时，什么模型比较好？ 讨论该问题，从模型发展历程阶段1到阶段4展开，从阶段一的模型到阶段4，功能越来越强大，越完善。 阶段1：RNN非常合适： |-->强项：单词先后顺序会影响句子的意义，擅长捕捉序列关系的它非常合适 |-->弱项：对于机器翻译来说，单词的对应关系并非一一对应（受限于结构RNN只能处理 N to N，1 to N，N to 1问题，对于N to M很是头疼） |-&gt...
人工智能大语言模型起源篇（一），从哪里开始
JellyAI的博客
12-12 1033
Sebastian Raschka的《讲座》https://sebastianraschka.com/blog/2021/dl-course.html#l19-self-attention-and-transformer-networks和《书籍》https://github.com/rasbt/machine-learning-book/tree/main/ch16。上面的论文介绍了原始的变换器架构，包括一个编码器和一个解码器部分，这两个部分后来会作为独立的模块变得非常重要。
基于LLM的Pipeline将非结构化数据转化为知识图谱
最新发布
aqfcca的博客
04-26 764
数据预处理：清洗、分词、标注非结构化文本。实体与关系抽取：基于LLM的联合抽取模型。知识融合：解决实体歧义与冲突。图谱构建与存储：使用图数据库（如Neo4j）存储三元组。可视化与优化：动态展示与图谱质量评估。输入：原始文本（如"苹果公司成立于1976年"）输出：实体边界及类型（“苹果公司”/ORG, “1976年”/DATE）评价指标精确率（Precision）：正确识别的实体占预测实体的比例召回率（Recall）：正确识别的实体占真实实体的比例F1值：精确率和召回率的调和平均。
【YOLO v8简介】YOLO v8与前代版本的对比：性能提升与创新特点
[【YOLO v8简介】YOLO v8与前代版本的对比：性能提升与创新特点](https://b2633864.smushcdn.com/2633864/wp-content/uploads/2022/04/yolo-family-variant-header-1024x575.png?lossy=2&strip=1&webp=1) ...
深度学习中的注意力机制：从基础到应用
码途探索
10-24 1028
在深度学习领域，注意力机制（Attention Mechanism）已经成为处理序列数据和生成任务的关键技术。本文将深入探讨注意力机制的基本概念、发展历程、数学原理、代码实现以及在实际应用中的表现。注意力机制作为深度学习中的重要技术，已经在多个领域取得了显著的成果。随着研究的深入，我们有理由相信，注意力机制将在未来的AI应用中发挥更加重要的作用。参考文献, 30.
注意力机制原理
qq_44691564的博客
05-30 2051
注意力机制最早是由神经科学家 Donald Olding Hebb 在 1949 年提出的。Hebb 观察到，大脑中的突触连接强度会随着两个神经元的活动的相互关联性而增强。他提出了“细胞之间的联结，就是心理之间的联结”的著名原则，即被称为“赫布学习规则”。在深度学习领域，注意力机制在 2014 年由 Bahdanau 等人首次引入到神经网络机器翻译模型中，这种模型也被称为“注意力机制编码器-解码器模型”。
attention注意力机制讲解ppt-组会分享
07-27
注意力机制是一种信息获取的通用机制，应用于从大量源数据中获取特定关键信息而避免对所有数据进行处理的场景。 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。
Deepmind讲座:深度学习中的记忆和注意力 注意力机制发展史与详解
Trotsky的博客
11-02 1999
DeepMind x UCL | Deep Learning Lectures | 8/12 | Attention and Memory in Deep Learning（机翻讲稿） 图片外链失效,看图可去https://github.com/trotsky1997/Notes/blob/master/DeepMind%20X%20UCL%E8%AE%B2%E5%BA%A7%E7%B3%BB%E5%88%97/DeepMind%20x%20UCL%20%20Deep%20Learning%20Lectur
1.注意力机制的前世今生
阿超的博客
07-31 1335
c1
注意力机制（Attention Mechanism）
m0_73916791的博客
12-20 1443
根据注意力权重计算的方式和应用的对象，注意力机制可以分为多种不同类型，如全局注意力机制（Global Attention）、局部注意力机制（Local Attention）、自注意力机制（Self-Attention）、多头注意力机制（Multi-Head Attention）等。同时，更灵活的注意力机制的设计以及注意力机制与其他模型结构的融合也将成为未来的研究重点。在以上应用场景中，注意力机制通过对关键信息的关注，提高了模型对输入的理解和表征能力，有效地解决了深度学习模型难以处理长序列和复杂语境的问题。
注意力机制详解及应用前景
技术栈：C++、go、python，方向：软开，测开
07-16 1090
例如，利用LSTM（长短期记忆网络）对车辆的局部特征进行序列化建模，或者利用图卷积网络（GCN）捕捉车辆部件之间的关系，从而提升局部特征的表达能力。通过引入通道注意力机制（如SE Block、CCSAM等），模型可以学习不同通道之间的权重，从而增强重要通道的特征表达，提高全局特征的表征能力。因此，研究者们提出了多级注意力机制，通过结合多种注意力机制（如局部注意力、全局注意力、通道注意力等），进一步提升模型在不同场景下的适应性和鲁棒性。随着深度学习的发展，注意力机制出现了多种变体，以适应不同的应用场景。
【NLP相关】深入理解attention机制（产生、发展、原理、应用和代码实现）
热门推荐
WeLearnNLP
10-22 1万+
attention机制并不是一个新概念，在很久之前（90年代）就有学者提出，其最早产生并且应用在计算机视觉（CV）领域，之后在自然语言处理（NLP）领域快速发展，最近又在CV领域火了起来。attention机制在深度学习各个领域都被广泛使用，尤其是CV和NLP任务中经常会出现attention机制的身影。本文将从原理角度深入分析attention机制。
自注意力机制（Self-Attention）
04-02
自注意力机制（Self-Attention）是一种用于处理序列数据的机制，最初在Transformer模型中引入。它通过计算序列中每个元素与其他元素之间的相关性来捕捉元素之间的依赖关系。 自注意力机制的计算过程如下： 1. 首先，通过将输入序列映射为三个不同的向量：查询向量（Query）、键向量（Key）和数值向量（Value）。 2. 接下来，计算查询向量与键向量之间的相似度得分。相似度可以使用点积、缩放点积或其他方法计算。 3. 将相似度得分进行归一化处理，得到注意力权重。这些权重表示了每个元素对其他元素的重要性。 4. 最后，将注意力权重与数值向量相乘并求和，得到自注意力机制的输出。 自注意力机制的优势在于它能够在不同位置之间建立长距离的依赖关系，而不仅仅局限于局部上下文。这使得模型能够更好地理解序列中不同元素之间的关系，并且在处理自然语言处理任务时取得了很好的效果。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值