激活函数总结（二）：ELU、SELU、GELU激活函数

最新推荐文章于 2025-04-01 16:17:03 发布
最新推荐文章于 2025-04-01 16:17:03 发布
阅读量5.1k 收藏 14
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/132148849
本文详细介绍了三种激活函数：ELU、SELU和GELU。ELU是ReLU的改进版，解决了神经元死亡问题；SELU具有自标准化特性，有助于深层网络训练；GELU是平滑激活函数，相关于高斯分布，广泛应用于transformer模型。每种激活函数的优缺点和适用场景也进行了探讨。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数总结（二）：ELU、SELU、GELU激活函数

1 引言

在上篇文章中已经介绍了过去大家较为常见的激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：
在这里插入图片描述

最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文章中进行添加补充。

2. 激活函数

2.1 ELU（Exponential Linear Unit）激活函数

论文链接：https://arxiv.org/pdf/1511.07289.pdf
ELU激活

了解本专栏 订阅专栏 解锁全文 超级会员免费看
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9216
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
激活函数总结（二十四）：激活函数补充(SquaredReLU、ModReLU)
生活需要深度
08-05 891
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！不同iable（不可导）点： 尽管在大部分区域内可导，但在 ∣x∣+b=0 的点上是不可导的，这可能影响一些依赖于导数的优化算法或操作。额外的超参数： 这个激活函数引入了额外的超参数 b，而且对于不同的任务和模型，可能需要仔细调整这个参数。可能出现梯度爆炸： 在正值区间，平方线性整流单元的梯度是 2x，在 x 较大时，可能导致梯度爆炸问题。
机器学习中的数学——激活函数（五）：ELU函数
加油！奥力给
04-01 1007
ELU激活函数
GELU 激活函数
热门推荐
乐享极客
04-16 9万+
Gaussian Error Linerar Units(GELUS) 论文链接：https://arxiv.org/abs/1606.08415 最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。 不管其他领域的鄙视链，在激活函数领域，大家公式的鄙视链应该是：Elus > Relu > Sigmoid ...
ELU激活函数
zrh_CSDN的博客
07-31 4万+
           ELU激活函数              融合了sigmoid和ReLU，左侧具有软饱和性，右侧无饱和性。 右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。 ELU的输出均值接近于零，所以收敛速度更快。 在 ImageNet上，不加 Batch Normalization 30 层以上的 ReLU 网络会无法收敛，PReLU网...
从ReLU到GELU，一文概览神经网络的激活函数
Paper weekly
12-21 2239
激活函数对神经网络的重要性自不必多言，机器之心也曾发布过一些相关的介绍文章，比如《一文概览深度学习中的激活函数》。本文同样关注的是激活函数。来自丹麦技术大学的 Casper Hansen...
激活函数之ELU（Exponential Linear Unit）（小白可入）
m0_51200050的博客
06-13 1592
激活函数之ELU（Exponential Linear Unit）（小白可入）
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
深度学习中的激活函数：全面剖析与前沿展望
最新发布
05-21
接着详细解析了经典激活函数（如Sigmoid、Tanh）和现代广泛使用的ReLU及其变体（Leaky ReLU, PReLU, ELU, SELU），以及新兴的Swish、GELU和Mish等函数的特点，包括它们的数学表达式、图形特征、输出范围、优缺点，并...
激活函数汇总
Thomas_Cai的记忆殿堂
07-18 910
常见激活函数汇总，包括函数、图像、优缺点、使用场景
深度学习之激活函数——ELU
m0_61787307的博客
05-18 4361
指数线性单元(ELU)，全称Exponential Linear Units，使用了指数作为激活函数的一部分。
【深度学习】论文导读：ELU激活函数的提出（FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)）
xf__mao的博客
11-20 4万+
FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)（2016，Djork-Arn´e Clevert, Thomas Unterthiner & Sepp Hochreiter） 论文下载 一、简介 ELU的表达式： 四种激活函数（ELU，LReLU，ReLU，SReLU）比较图：
GELU激活函数
qq_41296039的博客
04-14 1万+
相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。
【激活函数】GELU 激活函数
Next_SummerAgain的博客
01-05 6833
GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。
激活函数：GELU（Gaussian Error Linear Units）
FriendshipTang的博客
04-18 4673
PyTorch、人工智能、深度学习、激活函数
EELU激活函数
weixin_38190702的博客
07-04 614
EELU激活函数简介
elu是什么激活函数
07-28
Elu（Exponential Linear Unit）是一种激活函数，用于深度神经网络中的神经元激活。它基于ReLU函数的变种，可以解决ReLU在负数区域的输出值为0的问题。Elu函数定义如下： elu(x) = x, if x >= 0 elu(x) = alpha * (exp(x) - 1), if x < 0 其中，alpha是一个可调整的超参数，常用值为1。Elu函数在x小于0时呈指数增长，能够保持负数输入的响应，并且具有负数饱和度。这使得Elu函数相对于其他激活函数，如ReLU和Sigmoid，在一些情况下具有更好的性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值