组会 | 反向传播的理论推导

符号说明：

• 上标 $(l)$ 是指该元素属于第 $l$ 层
• 下标 $i$ 是指该元素是当前层的第 $i$ 个元素
• $y$ 是指一层的输出
• $w_{ij}$ 是指权重，连接上一层的第 $i$ 个输出，和下一层的第 $j$ 个神经元
• $\Sigma$ 是指加权求和
• $\phi$ 是指激活函数
• $\eta$ 是指学习率

说明：本博客中省略下标或者下标不全的情况

• 比如 ${\phi }^{(b)}$ 没有下标，是因为 $(b)$ 层只有一种激活函数；
• 比如写成 $w_i$ 而非 $w_{ij}$，是因为下一层只有一个神经元；
• 但有些时候只有一个输出时，我也加了下标，比如 $y_1^{(0)}$。

1 正向传播

• 假设一个层包含的是：权重、激活函数。
• 记权重为 $w_i^{(l)}$，其中 $(l)$ 代表权重所属的层，$i$ 表示该权重是当前层中的第 $i$ 个权重。记神经元输入经求和后的值为 $v^{(l)}$，经激活函数后的输出为 $y^{(l)}$。
• 上图中 $y_i^{(a)}$ 是 $(a)$ 层的输出，$(b)$ 层的输入，$y^{(b)}$ 是 $(b)$ 层的输出。假设 $(b)$ 层只有一个神经元和一个输出，因此其激活函数和输出没有下标。

上图中的数学关系

$$\begin{array}{rl}{v}^{(b)}=& \sum _{i=0}^n{w}_i^{(b)}{y}_i^{(a)}\\ y^{(b)}=& {\phi }^{(b)}(v^{(b)})\end{array}$$

2 反向传播

• 假设 $(b)$ 层就是输出层，它的输出 $y^{(b)}$ 经损失函数后得到 $\epsilon$。

2.1 输出层神经元的梯度

注意：不管是神经元还是权重的梯度，都是损失函数 $\epsilon$ 对其进行求导。

记 ${\delta }^{(l)}$ 为 $(l)$ 层神经元的梯度，$(b)$ 层神经元的梯度为：

$${\delta }^{(b)}=\frac{\partial \epsilon }{\partial v^{(b)}}=\frac{\partial \epsilon }{\partial y^{(b)}}\ast \frac{\partial y^{(b)}}{\partial v^{(b)}}=\frac{\partial \epsilon }{\partial y^{(b)}}\ast {\phi }^{\prime (b)}(v^{(b)})$$

上式无非就是利用求导的链式法则进行展开。

2.2 前一层神经元的梯度

刚才我们已经得到了输出层 $(b)$ 的神经元梯度，现在可以根据 $(b)$ 层的神经元梯度求得 $(a)$ 层的神经元梯度，即利用 ${\delta }^{(b)}$ 求得 ${\delta }_i^{(a)}$，计算过程如下：

$$\begin{array}{rl}{\delta }_1^{(a)}=& \frac{\partial \epsilon }{\partial v_1^{(a)}}=\frac{\partial \epsilon }{\partial v^{(b)}}\ast \frac{\partial v^{(b)}}{\partial y_1^{(a)}}\ast \frac{\partial y_1^{(a)}}{\partial v_1^{(a)}}\\ =& \end{array}$$