pytorch系列6 -- activation_function 激活函数 relu, leakly_relu, tanh, sigmoid及其优缺点

### ReLU 激活函数在深度学习中的使用及代码实现 ReLU（Rectified Linear Unit）激活函数是一种常见的非线性激活函数，其核心作用在于引入非线性变换，使神经网络能够学习更复杂的模式和特征[^2]。它通过简单的数学表达式 \(f(x) = \max(0, x)\) 实现，在输入小于等于零时输出为零，而在输入大于零时输出等于输入值。 #### ReLU 的特点 - **计算简单**：由于仅涉及最大值运算，ReLU 的计算成本较低。 - **无梯度消失问题**：对于正数区域，ReLU 的导数恒为 1，因此不会像某些其他激活函数那样出现梯度消失现象。 - **加速收敛**：相比传统的 sigmoid 和 tanh 函数，ReLU 能够显著加快模型的训练速度并提升泛化能力[^2]。 #### TensorFlow 中的 ReLU 实现 以下是使用 TensorFlow 实现 ReLU 激活函数的示例： ```python import tensorflow as tf # 定义一个简单的全连接层，并应用 ReLU 激活函数 model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu', input_shape=(32,)), # 隐藏层，64个单元 tf.keras.layers.Dense(10) # 输出层 ]) # 打印模型结构 model.summary() ``` 在此代码中，`activation='relu'` 参数指定了该层使用的激活函数为 ReLU[^1]。 #### PyTorch 中的 ReLU 实现 下面是一个基于 PyTorch 的 ReLU 使用示例： ```python import torch import torch.nn as nn class ModelWithReLU(nn.Module): def __init__(self): super(ModelWithReLU, self).__init__() self.fc1 = nn.Linear(10, 5) # 输入维度为10，输出维度为5 self.relu = nn.ReLU() # ReLU激活函数 def forward(self, x): x = self.fc1(x) x = self.relu(x) return x # 创建模型实例 model = ModelWithReLU() # 输入示例 input_data = torch.randn(3, 10) # 输入数据维度为(3, 10) # 前向传播 output = model(input_data) print(output) ``` 此代码展示了如何在自定义模型中集成 ReLU 激活函数。 #### 计算图表示与反向传播 为了进一步理解 ReLU 层的工作机制，可以通过构建计算图来描述其前向传播和反向传播过程。以下是从头开始手动实现 ReLU 及其梯度计算的方法： ```python import numpy as np def relu_forward(x): """ReLU 前向传播""" cache = x out = np.maximum(0, x) return out, cache def relu_backward(dout, cache): """ReLU 反向传播""" dx, x = None, cache dx = dout.copy() dx[x <= 0] = 0 return dx # 测试 x = np.array([-1, 2, -3, 4]) dout = np.array([1, 1, 1, 1]) out, cache = relu_forward(x) dx = relu_backward(dout, cache) print("前向传播结果:", out) print("反向传播梯度:", dx) ``` 这段代码实现了 ReLU 的前向传播和反向传播逻辑，便于深入研究其内部工作机制[^3]。 --- ###