论文笔记：主干网络——SENet

已于 2022-07-05 15:50:32 修改
阅读量2k 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 主干网络 文章标签： 深度学习 cnn 人工智能 神经网络 计算机视觉
于 2022-05-12 10:04:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuzeyao_Newton/article/details/124659619

Squeeze-and-Excitation Networks

SENet

文章目录

论文结构

摘要： CNN空间维度上的特征分析有广泛研究；本文提出SE block调整通道特征；SE block获得的成绩
1. Introduction： 近期CN的研究是为了获得更好的特征表示；本文从通道维度研究更好的特征表示方法；提出SE block；SE block优点
2. Related Work： CNN经典模型罗列；网络搜索相关工作；注意力机制与门控机制相关工作
3. Squeeze-and-Excitation Blocks： SE block的内部操作
4. Model and computational Complexity： 模型复杂度计算
5. Experiments： 多个数据集上实验结果分析探讨
6. Ablation Study： 控制变量法进行一系列实验，验证最优SE block方式
7. Role of SE blocks： SE block的作用探讨
8. Conclusion

一、摘要核心

  1. 背景介绍：卷积神经网络的核心是卷积操作，其通过局部感受野的方式融合空间和通道维度的特征；针对空间维度的特征提取方法已被广泛研究
  2. 本文内容：本文针对通道维度进行研究，探索通道之间的关系，并提出SE block，它可自适应的调整通道维度上的特征
  3. 研究成果：SE block 课堆叠构成SENet，SENet在多个数据集上表现良好；SENet不仅可大幅度提升精度，同时仅需要增加少量的参数
  4. 比赛成绩
  5. 代码开源

二、Squeeze and Excitation

① Squeeze：Global Information Embedding

全局信息降维嵌入

在这里插入图片描述

squeeze操作：采用全局池化，将空间维度H和W压缩到1×1，利用1个像素来表示一个通道，实现低维嵌入

② Excitation：Adaptive Recalibration

自适应重构
在这里插入图片描述

在这里插入图片描述

公示（3）中，第一个全连接层的激活函数是ReLU，第二个全连接层激活函数为Sigmoid

超参数reduction ratio r控制第一个全连接层神经元个数，C/r 个，进而影响SE Block的参数量。减少计算量

关于r的有对比实验，经验值为16

③ SE Block流程图

最低0.47元/天 解锁文章

200万优质内容无限畅学
论文笔记系列：经典主干网络（一）-- VGG
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
10-23 3006
本论文系列主要介绍深度学习主干网络，本篇介绍经典网络VGG，包括网络结构介绍、特点及对应论文讲解，VGG可以看成是加深版本的AlexNet。后续会在此基础上更新其他部分网络，仅供个人学习参考！
细粒度分类：DCL源码笔记——Destruction and Construction Learning for Fine-grained Image Recognition
qq_50001789的博客
06-23 408
论文《Destruction and Construction Learning for Fine-grained Image Recognition》源码笔记
[paper] SENet
四月晴
10-23 1213
SENet 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet SENet赢得了ILSVRC比赛的第一名，将top-5的错误率减少到2.251%，比一年前下降了25%。 SE block是一种组成网络的一种结构，SE block的堆叠就可以构成SENet。这点可以类比于GooLeNet和In...
SENet 论文
Dream_xd的博客
02-27 714
Squeeze-and-Excitation Networks 之前的研究工作的主要集中在获取空间信息上，这片论文的工作集中在通道之间的信息。作者提出了**Squeeze-andExcitation(SE)**模块，此模块可以附加在已有的网络上比如resnet等，额外计算量比较小，取得了很好的效果，取得了ImageNet2017分类任务的冠军。 SENet 网络结构 SE Block包含两个部分...
经典论文-SeNet论文及实践
uncle_ll的博客
09-16 5609
卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，许多现有的工作已经显示出增强空间编码的好处。在这项工作中，我们专注于通道，并提出了一种新颖的架构单元，我们称之为**“Squeeze-and-Excitation”（SE）模块**，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，证明了可以构建SENet架构，在具有挑战性的数据集中可以进行泛化地非常好。关键的是，发现SE块以微小的计算成本为现有的
论文笔记：主干网络——ResNet
liuzeyao_Newton的博客
04-30 1331
Deep Residual Learning for Image Recognition 图像识别中的深度残差学习网络
【图像超分】论文精读：Fast and Memory-Efficient Network Towards Efficient Image Super-Resolution（FMEN）
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-02 137
论文题目：Fast and Memory-Efficient Network Towards Efficient Image Super-Resolution —— 高效图像超分辨率的快速内存高效网络CVPRW 2022！NTIRE 2022 最低内存和第二少的运行时间。运行时和内存消耗是部署在资源受限的设备上的高效图像超分辨率(EISR)模型的两个重要方面。EISR[16,32]的最新进展利用具有大量通道分割和连接操作的蒸馏和聚合策略，以充分利用有限的层次特征。相比之下，
细粒度分类：Cross-X源码笔记——Cross-X Learning for Fine-Grained Visual Categorization
qq_50001789的博客
06-23 619
论文《Cross-X Learning for Fine-Grained Visual Categorization》源码笔记
【论文阅读笔记】Traffic Object Detection in UAVImages Based on Visual Attention and Re-parameterization
zyq199082的博客
10-17 184
无人驾驶飞行器(uav)在交通运输中得到了广泛的应用。无人机图像中车辆等交通物体的检测有助于交通监控、城市交通规划和交通流量估计。然而，在无人机图像中检测物体存在一些不可避免的问题，如物体尺度变化大密集检测场景中物体之间的遮挡复杂背景造成的干扰等。为了减少上述因素的影响，实现实时检测，本研究提出了基于YOLOv5s的RTOD-YOLO。首先，增加小目标检测层，提高模型对小目标的检测性能;其次，引入全局上下文注意模块。
经典神经网络论文超详细解读（七）——SENet（注意力机制）学习笔记（翻译＋精读＋代码复现）
热门推荐
路人贾的博客
01-05 3万+
SENet论文（《Squeeze-and-Excitation Networks》）超详细解读。翻译＋总结。文末有代码复现
论文笔记：主干网络——DenseNet
liuzeyao_Newton的博客
05-09 1238
Densely Connected Concolutional Networks 稠密连接的卷积神经网络
SENet论文解读及代码实例
qq_44840741的博客
11-15 6205
SENet论文解读及代码实例 在SENet前的网络是针对卷积空间来做处理的，而SENet考虑了卷积通道上的的权重（明确地建模网络卷积特征通道之间的相互依赖关系），通过训练每个通道权重来抑制无用特征，提高有用特征在分类网络的占比，从而实现识别精度的提升。SENet引入权重计算网络，识别精度提升的代价为参数量提高10%左右，计算量提高1%左右。 1）SE block模块原理 下图为SE模块的建立过程 ，在SE模块中，生成的特征图经聚合层（Squeeze）生成每一个通道的全局信息，公式如下： 全局信息通过激励层
SEnet论文学习
qq_35153620的博客
05-12 440
SEnet是Momenta(一家国内专注于自动驾驶的公司)在ImageNet2017分类任务上夺冠的网络。ImageNet2017是最后一届ImageNet竞赛，SEnet有了很大的提高。 论文地址：https://arxiv.org/abs/1709.01507 github代码地址：https://github.com/hujie-frank/SENet 神经网络中的卷积...
SeNet论文详解
qq_38807688的博客
11-21 7951
原文地址： https://arxiv.org/pdf/1709.01507.pdf 背景： 最后一届ImageNet 2017竞赛 Image Classification任务的冠军.作者采用SENet block和ResNeXt结合在ILSVRC 2017的分类项目中拿到第一，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。 ...
校园网主干网络
qq_61141142的博客
10-22 1036
校园网是一个综合高效的教学和科研的校园计算环境。校园网络以622M和155M ATM为基础通讯平台，采用LANE和MPOA技术实现与传统以太网和TCP/IP协议的融合，支持UNI 3.0/3.1UNI 4.0 IISP PNNI1.0等接口协议，支持SVC 、PVC和线路冗余，支持LANE 1.0和MPOA 1.0，可实现QoS（服务质量）控制。*******（内容与202.120.228.2上的配置雷同，不再详细列出）*******（内容与202.120.228.2上的配置雷同，不再详细列出）
九、SENet论文总结（完结）
weixin_40620310的博客
09-13 1648
九、SENet 论文导读 全称：Squeeze-and-Excition Networks 意义：较早将注意力机制引入卷积神经网络，并且该注意力机制是一种即插即用的模块，可嵌入任意主流的卷积神经网络中； 相关研究（STN）： STNet：空间变换网络，提出spatial transformer模块，用于增强CNN对图像的空间变换鲁棒性； STNet在文本矫正任务中也可以使用，并且有不错的效果； 主要有三个模块：Localisation net（特征定位）、Grid generator（网格生成）、Sampl
主干网络系列(1) -ResNet: Deep Residual Learning for Image Recognition
kevin_zhao_zl的博客
02-22 4622
论文提出了深度残差模块并在此基础上形成了深度残差学习框架ResNet，解决极深神经网络训练代价大幅上升，但效果却没有提升，甚至有所下降的问题
（SENet）Squeeze-and-Excitation Networks论文阅读笔记
weixin_43422466的博客
08-28 1143
文章目录（SENet）Squeeze-and-Excitation Networks论文阅读笔记2018Abstract1. Introduction2. Related Work3. Squeeze-and-Excitation Blocks3.1 Squeeze: Global Information Embedding3.2 Excitation: Adaptive Recalibration3.3 Instantiations4. Model and Computational Complexity
SENet来源论文《Squeeze-and-Excitation Networks》读后总结
yzqlyzql的博客
06-26 1150
SENet来源论文《Squeeze-and-Excitation Networks》读后总结前言文章主要内容与贡献设计了SE(Squeeze-and-Excitation)模块研究了SE模块与其它网络的可结合性 前言 这是一些对于论文《Squeeze-and-Excitation Networks》的简单的读后总结，首先先奉上该文章的下载超链接：SENet 这篇文章是由中国科学院软件研究所计算机科...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值