机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数

相关文章：

• 机器学习中的数学——激活函数（一）：Sigmoid函数
• 机器学习中的数学——激活函数（二）：Tanh函数
• 机器学习中的数学——激活函数（三）：ReLU（Rectified Linear Unit）函数
• 机器学习中的数学——激活函数（四）：Leaky ReLU函数
• 机器学习中的数学——激活函数（五）：ELU函数
• 机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数
• 机器学习中的数学——激活函数（七）：Swish

PReLU

1. 数学公式：

PReLU（Parametric Rectified Linear Unit）是 ReLU 的改进版本
$$P\mathrm{ReLU}(x)=\{\begin{array}{ll}x& \text{若 }x>0,\\ a_{i}x& \text{若 }x\le 0\end{array}$$

• 参数说明：参数$\alpha$通常为0到1之间的数字，并且通常相对较小
  • 如果${\alpha }_i$=0，退化为标准 ReLU。
  • 如果${\alpha }_i$>0，为固定小值（如 0.01）时，退化为 LeakyReLU
  • 如果${\alpha }_i$是可学习的参数，则PReLU(x)为PReLU函数

2. 特点：

• 在负值域，PReLU的斜率较小，这也可以避免Dead ReLU问题。
• 与ELU相比，PReLU 在负值域是线性运算。尽管斜率很小，但不会趋于0。