神经网络激活函数--tanh双曲正切函数

在数学中，双曲函数类似于常见的（也叫圆函数的）三角函数。基本双曲函数是双曲正弦“sinh”，双曲余弦“cosh”，从它们导出双曲正切“tanh”等。也类似于三角函数的推导。反函数是反双曲正弦“arsinh”（也叫做“arcsinh”或“asinh”）依此类推。y=tanh x，定义域：R，值域：(-1,1)，奇函数，函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线，其图像被限制在两水平渐近线y

在前面的学习中，我们已经了解了神经网络的基本单元——感知器，以及如何通过堆叠感知器构建更复杂的多层感知器（MLP）。然而，如果仅仅是简单地堆叠线性单元，神经网络的表达能力将非常有限，无法解决复杂的非线性问题。这时，激活函数就扮演了至关重要的角色，它为神经网络引入了非线性特性，使其能够学习和表示更加复杂的数据模式。本文将带大家全面了解常用的激活函数，深入探讨它们的原理、优缺点以及在不同场景下的选择策略。

tanh是双曲正切函数的缩写，在神经网络中常用作激活函数。它可以将输入的数值映射到-1到1之间，使得网络的输出具有非线性特征。这样可以增加网络的非线性表达能力，提高网络的拟合能力。 ...

为什么要引入激活函数 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再...

双曲正切函数等于双曲正弦与双曲余弦的比值，即tanh(x)=sinh(x)/cosh(x)=(e^(x)-e^(-x))/(e^x+e^(-x))，sinhx=(e^(x)-e^(-x))/2，coshx=(e^x+e^(-x))/2。定义域为(-∞，+∞)，值域为(-1，+1)双曲正切函数（tanh）与激活函数sigmoid非常接近，且与后者具有类似的优缺点。sigmoid和tanh的主要区别在...

双曲正切函数（tanh）

在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。TanhExp激活函数是一种用于轻量级神经网络的具有高收敛速度的平滑激活函数，在不增加网络规模的情况下，只需要少量的训练周期和不增加额外参数，TanhExp就可以提高轻量级神经网络的容量。缓解梯度爆炸问题： LeCun Tanh 函数通过对双曲正切函数进行缩放和平移，将输出范围限制在 [-1.7159, 1.7159]，相比标准双曲正切函数的 [-1, 1] 范围，有助于缓解梯度爆炸问题，使得训练更加稳定。

激活函数输出范围优点缺点应用场景Sigmoid(0, 1)输出具有概率意义梯度消失，非零中心化二分类问题的输出层，逻辑回归Tanh(-1, 1)零中心化，更好的梯度传播梯度消失隐藏层，RNN 中ReLU[0, +∞)避免梯度消失，计算简单，引入稀疏性死亡 ReLU 问题，非零中心化隐藏层，DNN、CNN、GAN。

然而，Leaky ReLU 也存在一些缺点。综上所述，尽管Sigmoid函数在过去被广泛应用于神经网络中，但随着深度学习的发展，人们更倾向于使用其他激活函数，如ReLU及其变种，因为它们能够缓解梯度消失问题并提供更好的性能。综上所述，尽管Tanh函数具有一些优点，但在深度神经网络中，它容易出现梯度消失的问题，因此在实践中，ReLU及其变种等激活函数更常用。然而，Tanh函数仍然可以在特定情况下使用，例如需要将输出值范围控制在[-1, 1]之间的任务，或者在某些循环神经网络（RNN）的隐藏层中使用。

双曲正切函数及其图形

双曲正切函数是双曲函数的一种。双曲正切函数在数学语言上一般写作tanh⁡\tanhtanh。它解决了Sigmoid函数的不以0为中心输出问题，然而，梯度消失的问题和幂运算的问题仍然存在。 tanh⁡(x)=ex−e−xex+e−x\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x​ tanh⁡\tanhtanh函数的图像： ...

深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus - 程序员大本营 https://www.pianshen.com/article/6147380115/ 数学表达式： y = max(0, x) + leak*min(0,x) 与 ReLu 相比 ，leak 给所有负值赋予一个非零斜率， leak是一个很小的常数 \large a_{i} ，这样保留了一些负轴的值，使得负轴的信息不会全部丢失） #leakyRelu

文主要总结了Sigmoid、Tanh、Relu、Softmax 四种函数；给出了函数的形式，优缺点和图像。

推导两式的关系

本文主要介绍神经网络中常用的激活函数

在我们学习神经网络的时候经常要用到激活函数，但是我们对于为什么要使用这一个，它们之间的区别和优缺点各是什么不太了解。下面，我们来详细说一说这三个激活函数。 - sigmoid函数 sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。 其函数表达式是： ...

双曲函数（Hyperbolic Functions）是一类与双曲线相关的函数，它们在数学中有广泛的应用，特别是在微积分、复变函数和物理学中。双曲函数类似于三角函数，但它们与单位双曲线（而不是单位圆）相关。