sknet se cbam

### SKNet 和 CBAM 的关系 在深度学习网络中，SKNet 和 CBAM 都属于注意力机制的不同实现方式。具体来说： - **SKNet** 主要关注于通过选择性内核来动态调整卷积的感受野大小[^2]。这使得模型能够根据不同尺度的目标自动选择最合适的空间信息。 - **CBAM (Convolutional Block Attention Module)** 则侧重于同时处理空间和通道维度上的特征加权操作[^1]。它先通过对输入特征图施加通道注意力建模全局依赖关系；接着再应用空间注意力进一步细化局部区域的重要性程度。 两者虽然侧重点不同，但在实际应用中可以相互补充并联合作用来提升整体性能表现。当将二者结合起来时（即 "SKNet with CBAM"），可以在原有基础上增加额外一层更精细粒度的关注点控制能力，从而更好地捕捉多尺度目标特性及其上下文关联性。 #### 实现 `SKNet` 加入 `CBAM` 为了展示如何在一个基于 PyTorch 构建的基础框架下集成这两种技术，下面给出了一段简化版本的代码片段作为参考： ```python import torch.nn as nn class ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=8): super(ChannelAttention, self).__init__() # 定义通道注意力模块... def forward(self, x): out = ... return out class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(SpatialAttention, self).__init__() # 定义空间注意力模块... def forward(self, x): out = ... return out class CBAMBlock(nn.Module): def __init__(self, channel, reduction=16, kernel_size=49): super(CBAMBlock, self).__init__() self.ca = ChannelAttention(channel=channel, ratio=reduction) self.sa = SpatialAttention(kernel_size=kernel_size) def init_weights(self): for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight.data) def forward(self, x): residual = x out = self.ca(x) * x # 广播机制 out = self.sa(out) * out # 广播机制 return out + residual class SelectiveKernelUnit(nn.Module): def __init__(self, channels, groups=32, radix=2, L=32): super(SelectiveKernelUnit, self).__init__() # 初始化SK单元参数 def forward(self, inputs): # 计算过程省略... class SKNetWithCBAM(nn.Module): def __init__(self, num_classes=1000): super(SKNetWithCBAM, self).__init__() self.sk_unit = SelectiveKernelUnit(channels=...) self.cbam_block = CBAMBlock(channel=...) self.fc = nn.Linear(..., num_classes) def forward(self, x): sk_out = self.sk_unit(x) cbam_out = self.cbam_block(sk_out) final_output = ... # 继续后续层定义直至分类器 return final_output ``` 此代码展示了如何创建一个融合了 SK 单元与 CBAM 块的新架构实例 `SKNetWithCBAM`。需要注意的是，在真实项目开发过程中还需要考虑更多细节优化问题，比如初始化权重设置、损失函数选取等。