yolov5加入cbam

### CBAM模块简介及其对YOLOv5的影响 CBAM（Convolutional Block Attention Module）是一种轻量级的注意力机制，能够显著提升卷积神经网络的表现而不会大幅增加计算复杂度。它通过通道注意和空间注意两个分支分别增强特征图的有效信息[^1]。 当在YOLOv5中引入CBAM模块时，其主要作用是对不同位置和通道上的特征赋予不同的权重，从而突出重要区域并抑制不重要的部分。然而，这种操作会带来额外的计算开销，具体表现为FLOPs的增长。 --- ### FLOPs增长的原因分析 #### 1. **通道注意力机制** CBAM中的通道注意力涉及全局平均池化（GAP）、全连接层以及激活函数的操作。假设输入特征图为 \(C \times H \times W\) 的大小，则对于每个通道执行一次 GAP 后得到长度为 \(C\) 的向量。接着经过两层全连接网络 (FC)，其中第一层将维度压缩至 \(r=\frac{C}{reduction}\)，第二层恢复回原始尺寸 \(C\)。因此这部分新增加的浮点运算次数可以近似表示为： \[ F_{channel} = C^2/r + C^2 \] 这里 \(reduction\) 是超参数，默认设置通常取值范围为8~16之间[^4]。 #### 2. **空间注意力机制** 空间注意力则先利用最大池化与均值池化获取二维描述子再经由卷积核大小为7×7的标准卷积处理融合后的张量最终形成单通道掩码施加于原特征映射之上。如果忽略边界填充影响的话那么每轮迭代所需基本算术指令数大致等于: \[ F_{spatial} ≈ 2HW(7*7)+HWC \] 此处\(K=7\times7\)代表滤波器窗口面积；最后一项反映乘法累加动作在整个高度宽度方向重复展开过程里被执行了多少次. 综合上述两点得出总附加成本即整体架构改造前后理论峰值性能差异估算表达式如下所示 : \[ ΔFLOPs=F_{channel}+F_{spatial} \] 实际应用当中由于现代GPU硬件特性等原因可能导致测量数值存在一定偏差但总体趋势保持一致即可满足工程需求评估标准[^3]. --- ### 实验数据支持 根据已有研究结果显示，在某些特定条件下比如ImageNet预训练迁移学习场景下或者针对小型物体密集分布的数据集像VisDrone等测试案例表明接入CBAM组件确实会引起一定幅度上浮约介乎于5%-20%区间内取决于基础版本规模选取状况如何配置相应优化策略等因素共同决定最终效果表现形式[^2]. ```python import torch from thop import profile # 假设我们有一个基于PyTorch实现的YOLOv5模型实例model_with_cbam 和 model_without_cbam input_tensor = torch.randn(1, 3, 640, 640) flops_with_cbam, params_with_cbam = profile(model_with_cbam, inputs=(input_tensor,)) flops_without_cbam, params_without_cbam = profile(model_without_cbam, inputs=(input_tensor,)) print(f"FLOPs with CBAM: {flops_with_cbam / 1e9:.2f} GFLOPs") print(f"FLOPs without CBAM: {flops_without_cbam / 1e9:.2f} GFLOPs") print(f"Increase in FLOPs due to CBAM: {(flops_with_cbam - flops_without_cbam) / flops_without_cbam * 100:.2f}%") ``` 此脚本可以帮助量化比较两种状态下各自消耗资源水平差距程度以便更直观理解两者间区别联系之处所在. --- ### 结论 综上所述，在YOLOv5框架内部嵌入CBAM结构虽然不可避免地提升了算法运行期间所耗费的时间代价——主要是因为增加了额外必要的前馈传递路径用于捕捉更加精细粒度级别的上下文关联关系信息——但是与此同时亦带来了可观的质量改善收益回报作为补偿手段之一来平衡利弊得失权衡考量方面做出贡献.

### 如何在 YOLOv5 中添加 CBAM 注意力机制 为了实现这一目标，可以遵循特定的修改路径来确保模型能够有效地利用CBAM注意力机制。 #### 修改配置文件 首先，在YOLOv5中的`models/yolov5s.yaml`或其他相应版本的yaml配置文件里定义新的层。当遇到条件判断语句 `elif m is CBAM:` 时，则表明程序会针对此情况执行特殊处理逻辑[^2]。此时应设置输入通道数`c1`等于前一层特征图的数量，而输出通道数`c2`依据给定参数设定；如果存在特殊情况（即`no`），则需调整`c2`以适应网络宽度因子`gw`并保持其能被8整除。 ```python if isinstance(m, models.common.CBAM): c1, c2 = ch[f], args[0] if c2 != no: c2 = make_divisible(c2 * gw, 8) args = [c1, c2] ``` 这段代码展示了如何动态计算和分配CBAM模块所需的输入输出维度大小，并将其作为参数传递下去用于后续操作。 #### 定义CBAM类 接着要创建一个继承自PyTorch nn.Module基类的新Python类——CBAM.py，该类实现了空间域(Spatial Domain)与信道域(Channel Domain)上的双重注意力建模功能[^1]： ```python import torch from torch import nn class ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=16): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.fc1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False) self.relu1 = nn.ReLU() self.fc2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x)))) max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x)))) out = avg_out + max_out return self.sigmoid(out) class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(SpatialAttention, self).__init__() assert kernel_size in (3, 7), 'kernel size must be 3 or 7' padding = 3 if kernel_size == 7 else 1 self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) x = torch.cat([avg_out, max_out], dim=1) x = self.conv1(x) return self.sigmoid(x) class CBAM(nn.Module): def __init__(self, planes, ratio=16, kernel_size=7): super(CBAM, self).__init__() self.ca = ChannelAttention(planes, ratio) self.sa = SpatialAttention(kernel_size) def forward(self, x): x = self.ca(x) * x # 广播机制自动匹配尺寸 x = self.sa(x) * x # 同上 return x ``` 上述代码片段分别构建了两个子组件：Channel Attention Module 和Spatial Attention Module ，并通过组合它们形成了完整的CBAM结构。通过这种方式可以在不改变原有框架的基础上轻松引入先进的注意力机制到YOLOv5当中去。 #### 更新训练脚本 最后一步是在主训练循环之前导入新建立好的CBAM模块，并按照需求替换掉原有的基础卷积层或者叠加在其之上形成更强大的感知单元。这通常涉及到编辑train.py等相关源码部分，具体取决于个人项目架构设计的不同之处。 完成以上步骤之后就可以成功地把CBAM注意力机制融入到了YOLOv5的目标检测算法之中，从而进一步提升模型性能表现。