全网首发--Unet3+改进15:在不同位置添加ShuffleAttention

本文内容:在不同位置添加ShuffleAttention注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四


论文简介

 

注意机制使神经网络能够准确地关注输入的所有相关元素,已成为提高深度神经网络性能的重要组成部分。在计算机视觉研究中广泛应用的注意机制主要有空间注意和通道注意两种,它们的目的分别是捕捉像素级的成对关系和通道依赖关系。

虽然将它们融合在一起可以获得比单独实现更好的性能,但它将不可避免地增加计算开销。在本文中,我们提出了一个高效的Shuffle Attention (SA)模块来解决这个问题,该模块采用Shuffle Units来有效地结合两种类型的注意机制。具体来说,SA首先将通道维度分组为多个子特征,然后并行处理它们。然后,对于每个子特征,SA利用Shuffle Unit来描述空间和通道维度上的特征依赖关系。然后对所有子特征进行聚合,并采用“信道洗牌”算子实现不同子特征之间的信息通信。所提出的SA模块是高效且有效的,例如SA在骨干ResNet50上的参数和计算量为300vs。

SA模块的概述。它采用“通道分割”的方式对每组的子特征进行并行处理。

对于通道注意力分支,使用GAP生成通道统计信息,然后使用一对参数缩放和移动通道向量。对于空间注意分支,采用群范数生成空间统计量,生成与通道分支相似的紧凑特征。然后将两个分支连接起来。然后对所有子特征进行聚合,最后利用“信道洗牌”算子实现子特征之间的信息通信

### U-Net、UNet++ 和 U2Net 的特点对比 #### U-Net 特点 U-Net 是一种经典的卷积神经网络架构,专为生物医学图像分割而设计。该模型采用了编码器-解码器结构,在跳过连接的帮助下能够有效地捕捉空间信息并恢复高分辨率特征图[^1]。 ```python class UNet(nn.Module): def __init__(self, n_channels, n_classes): super(UNet, self).__init__() # 定义编码器部分 ... # 定义解码器部分以及跳跃连接 ... def forward(self, x): # 前向传播过程 return x ``` #### UNet++ 特点 相比于原始版本,UNet++引入了更复杂的嵌套密集跳跃路径(nested dense skip connections),这使得不同层次之间的信息交流更加充分。通过这种方式增强了特征重用机制,并允许在网络的不同尺度上更好地融合上下文信息[^2]。 ```python class UNetPlusPlus(nn.Module): def __init__(self, num_classes=1, input_channels=3, deep_supervision=False, **kwargs): super().__init__() nb_filter = [32, 64, 128, 256, 512] self.deep_supervision = deep_supervision # 构建更多样化的跳跃连接模式 ... def forward(self, inputs): # 复杂的前向计算逻辑 return outputs ``` #### U2Net 特点 U2Net 则进一步发展出了堆叠拼接(stack-and-stitch)与网络嵌套(network-in-network)的设计理念。这种独特的组合不仅保留了传统U形结构的优点,还增加了额外的学习能力来处理更为复杂的数据分布情况。此外,U2Net 还特别适用于资源受限环境下的高效推理任务。 ```python class U2NET(nn.Module): def __init__(self,in_ch=3,out_ch=1): super(U2NET,self).__init__() self.stage1 = RSU7(in_ch,32,64) self.pool12 = nn.MaxPool2d(2,stride=2,ceil_mode=True) # 更多阶段定义... def forward(self,x): # 各级RSUs的操作... return F.sigmoid(d1) ``` ### 实现方式总结 对于上述三种变体而言,虽然都继承自最初的U-Net框架,但在具体实现细节方面存在显著差异: - **U-Net**: 主要依赖于简单的编码器-解码器加跳跃链接; - **UNet++**: 加入了更多的内部连通性和跨层交互特性; - **U2Net**: 结合stack-and-stitch策略和network-in-network技术构建了一个更具表现力且高效的体系结构。 这些改进共同推动着语义分割领域向着更高精度的方向迈进。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值