注意力模块CBAM

### CBAM注意力机制概述 CBAM（Convolutional Block Attention Module）是一种轻量级的注意力模块，旨在通过通道注意和空间注意来增强卷积神经网络中的特征表示能力[^2]。它能够动态调整不同位置的重要性权重，从而提高模型性能。 #### 实现细节 CBAM的核心思想在于分别计算 **通道注意力** 和 **空间注意力** 并将其组合起来应用到输入特征图上。以下是具体实现过程： 1. **通道注意力 (Channel Attention)** 首先通过对输入特征图 $F$ 进行全局平均池化（Global Average Pooling, GAP）和全局最大池化（Global Max Pooling, GMP），得到两个一维向量。随后将这两个向量送入共享权值的多层感知机（MLP）结构中处理，最终通过逐元素相加并经过 Sigmoid 函数生成通道注意力掩码 $M_c$[^3]。 2. **空间注意力 (Spatial Attention)** 对于空间维度上的关注，则利用先前获得的通道注意力结果作为新的输入。同样采用 GAP 和 GMP 的方式提取信息，并沿通道方向连接这些统计量形成二维张量。接着通过一个 $7 \times 7$ 卷积操作学习空间关系，最后经由 Sigmoid 得到空间注意力掩码 $M_s$[^4]。 3. **融合与输出** 将上述两部分的结果依次作用于原始特征图之上，即先乘以通道注意力再乘以空间注意力完成整个流程。 ```python import torch.nn as nn class ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=8): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.fc1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False) self.relu1 = nn.ReLU() self.fc2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x)))) max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x)))) out = avg_out + max_out return self.sigmoid(out) class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(SpatialAttention, self).__init__() assert kernel_size in (3, 7), 'kernel size must be 3 or 7' padding = 3 if kernel_size == 7 else 1 self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) x = torch.cat([avg_out, max_out], dim=1) x = self.conv1(x) return self.sigmoid(x) class CBAM(nn.Module): def __init__(self, channel_in, reduction_ratio=8, kernel_size=7): super(CBAM, self).__init__() self.channel_attention = ChannelAttention(channel_in, reduction_ratio) self.spatial_attention = SpatialAttention(kernel_size) def forward(self, x): out = self.channel_attention(x) * x out = self.spatial_attention(out) * out return out ``` 以上代码展示了如何构建基于 PyTorch 的 CBAM 模块[^5]。 #### 使用场景 CBAM 可广泛应用于图像分类、目标检测以及语义分割等领域。其主要优势体现在无需额外增加大量参数的情况下显著提升模型表现力。例如，在 ResNet 或 DenseNet 等基础架构基础上加入此模块即可轻松获取更优的效果。 ---