常用激活函数

激活函数的目的：增加神经网络的非线性（只有线性的情况下网络的表达能力有限)

sigmoid
$$\sigma (x)=\frac{1}{1+e^{-x}},$$
$${\sigma }^{{}^{\prime }}(x)=\frac{e^x}{(1+e^{-x}{)}^2}=\sigma (x)[1-\sigma (x)]$$

Relu
$$Relu(x)=\{\begin{array}{r}0,x<0\\ x,x\ge 0\end{array}$$

tanh
$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

$$tan{h}^{{}^{\prime }}(x)=1-tan{h}^2(x)$$

$$ELU(x)=\{\begin{array}{r}\alpha (e^x-1),x<0\\ x,x\ge 0\end{array}$$
【ELU】Exponential Linear Unit 指数线性单元

其他激活函数：
$$（1）softsign(x)=\frac{x}{|x|+1}$$

$$（2）hard\_sigmoid(x)=\{\begin{array}{r}0,x<-2.5\\ 0.2x+0.5,-2.5\le x\le 2.5\\ 0,x>2.5\end{array}$$
【hard_sigmoid(x)】sigmoid的改进，计算量较少，但不平滑；

$$（3）LeakRelu(x)=\{\begin{array}{r}\alpha x,x<0\\ x,x\ge 0\end{array}$$
【LeakRelu】Relu的改进版，LeakyReLU在神经元未激活时，它仍允许赋予一个很小的梯度，避免ReLU死掉的问题；这里的$\alpha$是一个不可学习的固定值；
【PRelu】Relu的改进版，公式和LeakRelu是一样的，但PRelu的$\alpha$是一个可学习的数组，每个x对应一个$\alpha$；

$$（4）softplus(x)=log(e^x+1)$$
【softplus】relu的平滑版；

$$（4）softmax(x)=\frac{e^{x_i}}{{\sum }_{j=0}^n{x}_j}$$
【softplus】relu的平滑版；

参考文献：
https://zhuanlan.zhihu.com/p/46255482