GELU 激活函数

最新推荐文章于 2024-11-18 11:20:46 发布

nathan_deep

最新推荐文章于 2024-11-18 11:20:46 发布

阅读量757

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习

本文链接：https://blog.csdn.net/chaojianmo/article/details/103557758

深度学习专栏收录该内容

6 篇文章

订阅专栏

本文深入探讨了GELU（高斯误差线性单元）激活函数，对比ReLU，GELU在保持性能优势的同时，引入了数据的统计特性。通过数学公式和Python实现代码，详细解析了GELU的工作原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

gelu（Gaussian error linear units，高斯误差线性单元）

论文链接：https://arxiv.org/abs/1606.08415

数学表达如下：

相比Relu：Relu将小于0的数据映射到0，将大于0的给与等于映射操作，虽然性能比sigmoid好，但是缺乏数据的统计特性，而Gelu则在relu的基础上加入了统计的特性。

python实现

import tensorflow as tf


def gelu(x):
  """Gaussian Error Linear Unit.
    x: float Tensor to perform activation.

  Returns:
    `x` with the GELU activation applied.
  """
  cdf = 0.5 * (1.0 + tf.tanh(
      (np.sqrt(2 / np.pi) * (x + 0.044715 * tf.pow(x, 3)))))
  return x * cdf