Keras CA（coordinate attention）注意力机制的解析（附python代码）

原创 已于 2024-03-23 10:45:46 修改
· 2.9k 阅读 · 29 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #keras #人工智能 #注意力机制

于 2024-03-12 18:46:26 首次发布

文章目录

1. Introduction

CA注意力机制 是 CVPR2021年 参会的一种注意力机制工作，全面关注特征层的空间信息和通道信息。

2. 代码下载

https://arxiv.org/pdf/2103.02907.pdf

https://github.com/Andrew- Qibin/CoordAttention

https://github.com/bubbliiiing/yolov4-tiny-keras

3. CA注意力机制的概念与实现

在这里插入图片描述

该文章的作者认为现有的注意力机制（如CBAM、SE）在求取通道注意力的时候，通道的处理一般是采用全局最大池化/平均池化，这样会损失掉物体的空间信息。作者期望在引入通道注意力机制的同时，引入空间注意力机制，作者提出的注意力机制将位置信息嵌入到了通道注意力中。

CA注意力的实现如图所示，可以认为分为两个并行阶段：

将输入特征图分别在为宽度和高度两个方向分别进行全局平均池化，分别获得在宽度和高度两个方向的特征图。假设输入进来的特征层的形状为[H, W, C]，在经过宽方向的平均池化后，获得的特征层shape为[H, 1, C]，此时我们将特征映射到了高维度上；在经过高方向的平均池化后，获得的特征层shape为[1, W, C]，此时我们将特征映射到了宽维度上。

然后将两个并行阶段合并，将宽和高转置到同一个维度，然后进行堆叠，将宽高特征合并在一起，此时我们获得的特征层为：[1, H+W, C]，利用卷积+标准化+激活函数获得特征。需要注意的是，这里的卷积通道数一般会小一点，做一个缩放，可以减少参数量。卷积后的特征层的shape为[1, H+W, C/r]，其中r为缩放系数。

之后再次分开为两个并行阶段，再将宽高分开成为：[1, H, C/r]和[1, W, C/r]，之后进行转置。获得两个特征层[H, 1, C/r]和[1, W, C/r]。

然后利用1x1卷积调整通道数后取sigmoid获得宽高维度上的注意力情况，前者在宽上拓展一下，后者在高上拓展一下，然后一起乘上原有的特征就是CA注意力机制。

实现的python代码为：

def ca_block(input_feature, ratio=16, name=""):
	channel = input_feature._keras_shape[-1]
	h		= input_feature._keras_shape[1]
	w		= input_feature._keras_shape[2]
 
	x_h = Lambda(lambda x: K.mean(x, axis=2, keepdims=True))(input_feature)
	x_h = Lambda(lambda x: K.permute_dimensions(x, [0, 2, 1, 3]))(x_h)
	x_w = Lambda(lambda x: K.max(x, axis=1, keepdims=True))(input_feature)
	
	x_cat_conv_relu = Concatenate(axis=2)([x_w, x_h])
	x_cat_conv_relu = Conv2D(channel // ratio, kernel_size=1, strides=1, use_bias=False, name = "ca_block_conv1_"+str(name))(x_cat_conv_relu)
	x_cat_conv_relu = BatchNormalization(name = "ca_block_bn_"+str(name))(x_cat_conv_relu)
	x_cat_conv_relu = Activation('relu')(x_cat_conv_relu)
 
	x_cat_conv_split_h, x_cat_conv_split_w = Lambda(lambda x: tf.split(x, num_or_size_splits=[h, w], axis=2))(x_cat_conv_relu)
	x_cat_conv_split_h = Lambda(lambda x: K.permute_dimensions(x, [0, 2, 1, 3]))(x_cat_conv_split_h)
	x_cat_conv_split_h = Conv2D(channel, kernel_size=1, strides=1, use_bias=False, name = "ca_block_conv2_"+str(name))(x_cat_conv_split_h)
	x_cat_conv_split_h = Activation('sigmoid')(x_cat_conv_split_h)
 
	x_cat_conv_split_w = Conv2D(channel, kernel_size=1, strides=1, use_bias=False, name = "ca_block_conv3_"+str(name))(x_cat_conv_split_w)
	x_cat_conv_split_w = Activation('sigmoid')(x_cat_conv_split_w)
 
	output = multiply([input_feature, x_cat_conv_split_h])
	output = multiply([output, x_cat_conv_split_w])
	return output

4. CA部分实验结果与可视化

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5. 注意力机制的应用

注意力机制是一个即插即用的模块，理论上可以放在任何一个特征层后面，可以放在主干网络，也可以放在加强特征提取网络。

由于放置在主干会导致网络的预训练权重无法使用，本文以YoloV4-tiny为例，将注意力机制应用加强特征提取网络上。

如下图所示，我们在主干网络提取出来的两个有效特征层上增加了注意力机制，同时对上采样后的结果增加了注意力机制。

在这里插入图片描述

实现代码如下：

attention = [se_block, cbam_block, eca_block, ca_block]

#---------------------------------------------------#
#   特征层->最后的输出
#---------------------------------------------------#
def yolo_body(input_shape, anchors_mask, num_classes, phi = 0):
    inputs = Input(input_shape)
    #---------------------------------------------------#
    #   生成CSPdarknet53_tiny的主干模型
    #   feat1的shape为26,26,256
    #   feat2的shape为13,13,512
    #---------------------------------------------------#
    feat1, feat2 = darknet_body(inputs)
    if phi >= 1 and phi <= 4:
        feat1 = attention[phi - 1](feat1, name='feat1')
        feat2 = attention[phi - 1](feat2, name='feat2')

    # 13,13,512 -> 13,13,256
    P5 = DarknetConv2D_BN_Leaky(256, (1,1))(feat2)
    # 13,13,256 -> 13,13,512 -> 13,13,255
    P5_output = DarknetConv2D_BN_Leaky(512, (3,3))(P5)
    P5_output = DarknetConv2D(len(anchors_mask[0]) * (num_classes+5), (1,1))(P5_output)
    
    # 13,13,256 -> 13,13,128 -> 26,26,128
    P5_upsample = compose(DarknetConv2D_BN_Leaky(128, (1,1)), UpSampling2D(2))(P5)
    if phi >= 1 and phi <= 4:
        P5_upsample = attention[phi - 1](P5_upsample, name='P5_upsample')

    # 26,26,256 + 26,26,128 -> 26,26,384
    P4 = Concatenate()([P5_upsample, feat1])
    
    # 26,26,384 -> 26,26,256 -> 26,26,255
    P4_output = DarknetConv2D_BN_Leaky(256, (3,3))(P4)
    P4_output = DarknetConv2D(len(anchors_mask[1]) * (num_classes+5), (1,1))(P4_output)
    
    return Model(inputs, [P5_output, P4_output])

6. Acknowledgement

感谢作者的学长 Bubbliiiing 对本文应用部分内容的帮助。

Reference

https://blog.csdn.net/weixin_44791964/article/details/126319522

https://blog.csdn.net/qq_40716944/article/details/121787103

https://zhuanlan.zhihu.com/p/388299333

https://mmyolo.readthedocs.io/zh-cn/latest/get_started/15_minutes_instance_segmentation.html

YOLOv7改进注意力机制系列：最新结合即插即用CA(Coordinate attention) 注意力机制(适用于YOLOv5)，CVPR 2021 顶会助力分类检测涨点！
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-06 2万+
在本文中，将YOLO系列模型结合一种新的移动网络注意机制，将位置信息嵌入到通道注意中，称之为“坐标注意力”。与通过 2D 全局池化将特征张量转换为单个特征向量的通道注意不同，坐标注意将通道注意分解为两个 1D 特征编码过程，分别沿两个空间方向聚合特征。
注意力机制——Coordinate Attention
qq_40716944的博客
12-08 5万+
目录 摘要 1 介绍 2 相关工作 2.1 Mobile Network 2.2 注意力机制 3 Coordinate Attention 3.1 Revisit SE Block 3.1.1 Squeeze 3.1.2 Excitation 3.1.3 为什么SE Block不好？ 3.2 Coordinate Attention Block 3.2.1 Coordinate信息嵌入 3.2.2 Coordinate Attention生成 4. 实验 4.1 消融实验 .
注意力（Attention）机制详解（附代码）
最新发布
大摆王的博客
05-12 1万+
Attention机制是深度学习中的一种技术，特别是在自然语言处理（NLP）和计算机视觉领域中得到了广泛的应用。它的核心思想是模仿人类的注意力机制，即人类在处理信息时会集中注意力在某些关键部分上，而忽略其他不那么重要的信息。在机器学习模型中，这可以帮助模型更好地捕捉到输入数据中的关键信息。
注意力机制-CA注意力-Coordinate attention
热门推荐
renxingshen2022的博客
12-01 5万+
CA（Coordinate attention for efficient mobile network design）发表在CVPR2021，帮助轻量级网络涨点、即插即用。CA不仅考虑到空间和通道之间的关系，还考虑到长程依赖问题。简单进行记录，如有问题请大家指正。
CA注意力机制 (附代码)
PLANTTHESON的博客
10-08 8859
CA注意力机制 (附代码)
深度学习知识点4-Coordinate Attention（CA注意力机制）
weixin_43899239的博客
11-12 1051
CA通过将2D通道注意力分解为两个1D编码过程，分别沿垂直和水平方向聚合特征。这样一来，模型不仅能捕获。，帮助模型在需要定位物体结构的任务中表现更优。如图为：SE、CBAM、CA。
神经网络学习小记录73——Pytorch CA（Coordinate attention）注意力机制的解析与代码详解
Bubbliiiing的学习小课堂
05-07 2万+
神经网络学习小记录72——Pytorch CA（Coordinate attention）注意力机制的解析与代码详解学习前言代码下载CA注意力机制的概念与实现注意力机制的应用 学习前言 CA注意力机制是最近提出的一种注意力机制，全面关注特征层的空间信息和通道信息。 代码下载 Github源码下载地址为： https://github.com/bubbliiiing/yolov4-tiny-pytorch 复制该路径到地址栏跳转。 CA注意力机制的概念与实现 该文章的作者认为现有的注意力机制（如CBAM、
神经网络学习小记录78——Keras CA（Coordinate attention）注意力机制的解析与代码详解
Bubbliiiing的学习小课堂
02-17 7371
CA注意力机制是最近提出的一种注意力机制，全面关注特征层的空间信息和通道信息。
CA位置注意力机制
weixin_44309170的博客
11-07 1万+
最近关于移动网络设计的研究表明，信道注意力（例如，挤压和激励注意力（SE））对于提升模型性能具有显著的效果，但它们通常忽略了位置信息，这对于生成空间选择性注意力图很重要。在本文中，我们提出了一种新的移动网络注意力机制，将位置信息嵌入到信道注意力中，我们称之为“协调注意力”。与通过2D全局池将特征张量转换为单个特征向量的信道关注不同，坐标关注将信道关注分解为两个1D特征编码过程，分别沿两个空间方向聚合特征。通过这种方式，可以沿一个空间方向捕获长距离相关性，同时可以沿另一空间方向保留精确的位置信息。
通道注意力机制(CA)
kuailezzf的博客
07-29 6400
通道注意力机制（Channel Attention, CA）是一种广泛应用于计算机视觉中的注意力机制。它主要用于提取图像特征中不同通道之间的相关性，以帮助网络更好地聚焦于重要的特征信息。在深度学习中，卷积神经网络（CNN）通常通过堆叠多个卷积层来提取图像的高级特征表示。然而，具体来说，通道注意力机制通过引入一个注意力模块来学习每个通道的权重，从而动态调整每个通道的重要性。如图1所示，通道注意力机制通过以下步骤实现：输入：假设输入特征图的尺寸为C×H×W，其中C是通道数，H和W分别是高度和宽度。
CA注意力机制详解
浩瀚之水的专栏
02-26 2287
CA（Coordinate Attention）注意力机制是一种新的且高效的注意力机制，旨在将位置信息融入通道注意力中，从而增强移动网络的性能。这个实现包含了一个CA注意力机制块，可以在神经网络中作为一个即插即用的模块使用。通过CA注意力机制进行处理，并输出加权后的特征图。方法，可以将输入特征图。
YOLOV5改进系列（2）——CA注意力机制
vimpirespider的博客
10-08 6095
Coordinate Attention（CA）是一种用于移动网络的轻量级注意力机制，旨在在不增加计算成本的前提下增强特征表达能力。与传统的通道注意力机制（如Squeeze-and-Excitation）不同，CA在通道注意力中嵌入了位置信息，从而能更好地在空间上进行关注。
自学历程07-CA注意力机制
qq_56516066的博客
01-04 3825
CA注意力机制，通过将位置信息嵌入到通道注意力中，来增强移动网络的性能。
通俗易懂理解CA(Coordinate Attention)
IT菜鸟
02-24 4289
通俗易懂理解CA(Coordinate Attention)
CVPR2021|| Coordinate Attention注意力机制
qq_51302564的博客
04-18 3万+
Paper：https://arxiv.org/pdf/2103.02907.pdf GitHub：https://github.com/Andrew-Qibin/CoordAttention 轻量，优秀，好用！ 讲之前我们先回顾一下以前的SE与CBAM SE SE比较简单，看一下结构图差不多就能理解了，如果有些实现不太懂的，可以借鉴一下CBAM的。 但SE只考虑内部通道信息而忽略了位置信息的重要性，而视觉中目标的空间结构是很重要的。 CBAM 稍微介绍一下CBAM，如图b所示，CBAM包含空间注意力和通
注意力机制Attention、CA注意力机制
Whalawhala的博客
03-14 1927
对于人来说，可以利用重要的数据，过滤掉不重要的数据。那对于模型来说（CNN、LSTM），很难决定什么重要、什么不重要，因此，注意力机制产生了。通过点乘，计算Q和K里的每一个事物的相似度，拿到Q和k1的相似值s1，Q和k2的相似值s2。现有的注意力机制其通道的处理一般是采用全局最大池化/平均池化，这样会损失掉物体的。那么a就代表数据的权重，v是数据本身，a*v就是处理之后的数据。CA注意力机制可以把位置信息嵌入到通道注意力中。看查询对象Q和被查询对象K的相似度。就可以得到概率a1,a2,…
CVPR2021注意力机制——Coordinate Attention || Pytorch代码实现
qq_42962681的博客
04-12 7272
即插即用！CoordAttention简单灵活且高效，可以插入经典的轻量级网络在几乎不带来额外计算开销的前提下，提升网络的精度。实验表明，CoordAttention不仅仅对于分类任务有不错的提高，对目标检测、实例分割这类密集预测的任务，效果提升更加明显。
注意力机制：CA - Coordinate Attention for Efficient Mobile Network Design（文末附代码）
shengweiit的博客
09-01 3856
近期 关于移动网络设计的研究已经证明了通道注意力在提升模型性能方面的显著效果，但他们通常忽略了位置信息，而位置信息嵌入通道注意力中，我们称之为**“坐标注意力”。与通道注意力通过二维全局池化将一个特征张量转换为单个特征向量的方法不同，坐标注意力将通道注意力分解为两个一维特征编码过程，分别沿着两个空间方向聚合特征。通过这种方式，可以捕捉到一个空间方向上的长程依赖关系，并同时保留另一个空间方向上的精确位置信息。然后，得到的特征图分别编码为一对方向感知和位置敏感的注意力图，可以。
Yolov8改进---注意力机制：CoordAttention，效果秒杀CBAM、SE
05-08 3656
cvpr2021 CoordAttention注意力机制加入yolov8优化/改进，效果秒杀CBAM、SE
SE注意力机制的代码
07-10
SE注意力机制（Squeeze-Excitation，简称SE）是一种用于提升卷积神经网络(CNN)性能的技术，它通过学习输入特征图的全局依赖并调整每个通道的重要性。在编码阶段，SE层会压缩特征图到一个一维向量，然后通过两个全连接层分别计算全局平均值（squeeze）和自适应加权（excitation）。下面是一个简单的Python（Keras库）实现SE注意力块的例子： ```python from keras.layers import Layer import tensorflow as tf class SqueezeExcite(Layer): def __init__(self, ratio=16, **kwargs): self.ratio = ratio super(SqueezeExcite, self).__init__(**kwargs) def build(self, input_shape): self.channel_axis = -1 if input_shape[self.channel_axis] is None: raise ValueError('The channel dimension of the inputs ' 'should be defined. Found `None`.') num_channels = int(input_shape[self.channel_axis]) self.global_avg_pool = GlobalAveragePooling2D(data_format='channels_last') self.dense_1 = Dense(num_channels // self.ratio, activation='relu', name='se_reduce') self.dense_2 = Dense(num_channels, activation='sigmoid', name='se_expand') def call(self, inputs): x = self.global_avg_pool(inputs) x = self.dense_1(x) x = self.dense_2(x) scale = tf.expand_dims(x, axis=self.channel_axis) return inputs * scale # 使用示例： input_tensor = Input(shape=(height, width, channels)) x = Conv2D(...)(input_tensor) x = SqueezeExcite()(x) ``` 在这个例子中，`ratio`参数决定了压缩后的通道数，`GlobalAveragePooling2D`用于提取特征的全局信息，随后经过两层全连接层处理，最后再将结果扩展回原始通道维度，应用于输入特征。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猛码Memmat

欢迎支持，随缘打赏 ~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值