神经网络中的激活函数

激活函数是指在多层神经网络中，上层神经元的输出和下层神经元的输入存在一个函数关系，这个函数就是激活函数。激活函数是神经网络中非线性变换的关键组件，给网络引入非线性因素，使其能学习和表示复杂的模式与关系。常见激活函数有Sigmoid、ReLU、Tanh等。

一、ReLU函数

ReLu函数是深度学习中最常用的激活函数，它在大于0时为自身，小于0时等于0。ReLu函数是深度学习中最常用的激活函数，它可以缓解梯度消失、梯度爆炸问题。ReLu激活函数的公式如下：

ReLu函数的图象如下：

ReLu激活函数的导数是分段函数，且非连续函数。ReLu激活函数的导数如下：

ReLu函数的导数图象如下：

可以看到，ReLu的导数只有两个值：0和1(在负轴为0，在正轴为1)。因此，ReLu函数的导数(梯度)非常稳定，这种稳定性可以有效避免梯度消失问题

ReLU的缺点
尽管ReLU具有很多优点，但它也有一些潜在的缺点：

死神经元问题（Dying ReLU Problem）：当ReLU函数的输入值为负时，它的输出始终为0，这意味着神经元在某些情况下可能永远不会激活（即其输出为0）。这种情况会导致部分神经元在训练过程中“死亡”，无法参与到后续的学习。特别是在初始化时，如果某些神经元的权重偏移值过大或过小，可能导致它们在训练过程中始终无法激活。

ReLU的变种：Leaky ReLU 和Parametric ReLU（PReLU）