YoloV5使用了几种激活函数

### YOLOv11 激活函数分析 YOLOv11 的激活函数采用了 **AReLU (Attention-based ReLU)**，这是一种基于注意力机制的新型激活函数[^2]。相比传统的固定型激活函数（如 ReLU 或 SiLU），AReLU 提供了一种更灵活的方式，通过引入逐元素注意力机制来动态调整激活值。 #### AReLU 设计原理 AReLU 的设计初衷是为了探索激活函数的学习方式新方向。它不仅对传统不可学习的激活函数进行了参数化扩展，还尝试结合任务导向的注意力机制，使模型能够根据具体任务需求自动决定哪些特征需要被激活或抑制[^2]。 ##### 关键特性 - **逐元素注意力机制**：AReLU 利用了逐元素乘法的形式，允许网络在训练过程中学习如何分配权重给不同的输入特征。 - **可解释性强**：由于其与注意力机制紧密关联，AReLU 能够提供关于模型决策过程的更多洞察力。 - **公式表达**：AReLU 可以表示为以下形式： ```python import torch.nn as nn import torch class AReLU(nn.Module): def __init__(self, alpha=0.9, beta=0.1): super(AReLU, self).__init__() self.alpha = nn.Parameter(torch.tensor(alpha)) self.beta = nn.Parameter(torch.tensor(beta)) def forward(self, x): positive_part = torch.clamp(x, min=0) negative_part = torch.clamp(x, max=0) return self.alpha * positive_part + self.beta * negative_part.abs() ``` 此代码片段展示了 AReLU 的基本实现逻辑，其中 `alpha` 和 `beta` 是两个可学习参数，分别控制正负部分的缩放比例[^2]。 #### 性能优势 相比于其他常见激活函数（如 ReLU、LeakyReLU 或 GELU），AReLU 在以下几个方面表现出显著的优势： - 更强的任务适配能力：通过学习特定任务下的最佳激活模式，提升模型表现。 - 高效性：尽管引入了额外参数，但由于其简洁的设计，计算开销并未大幅增加。 - 解释性增强：提供了关于模型内部工作机理的更多信息，有助于后续优化和调试。 然而需要注意的是，在实际部署时需考虑硬件支持情况以及可能带来的推理延迟等问题[^4]。 ### 实现方法 如果想将标准版本的 YOLO 替换为使用 AReLU 作为默认激活函数，则可以按照如下方式进行修改： 1. 定义一个新的类继承自 PyTorch 的 Module 并实现上述 AReLU 方法； 2. 修改 backbone 层次结构中涉及卷积操作的地方，默认指定该层采用新建好的 AReLU 类实例替代原有简单激活单元；例如可以在 models/common.py 文件里找到对应位置并做相应更改。 ```python def Conv(c1, c2, k=1, s=1, p=None, g=1, act=True): if isinstance(act, bool) and act: activation = AReLU() # Replace original activation with custom one here. elif callable(act): activation = act else: activation = nn.Identity() return nn.Sequential( nn.Conv2d(c1, c2, k, s, autopad(k, p), groups=g, bias=False), nn.BatchNorm2d(c2), activation, ) ``` 以上代码段演示了如何把常规卷积组件内的激活器替换成自制版 AReLU 组件的过程[^3]。 ---

在YOLOv5的代码中，激活函数主要在模型定义文件`models/yolo.py`中的各个层中进行定义。具体来说，YOLOv5使用的激活函数主要有以下几种： 1. Mish激活函数：在`models/common.py`文件中定义。 2. SiLU激活函数：在`models/common.py`文件中定义。 3. LeakyReLU激活函数：在`models/yolo.py`文件中的`Focus`、`Conv`和`BottleneckCSP`等层中定义。 4. Sigmoid激活函数和Softmax激活函数：在`models/yolo.py`文件中的`Detect`层中定义。 此外，YOLOv5还使用了Batch Normalization（BN）和Dropout等操作，这些操作也在模型定义文件中进行了定义。