机器学习之神经网络-基础知识总结（第二篇）

Ⅰ、反向模式求导
反向模式求导是从后向前，先求 y 对 z 的影响(h + m +n) ，再求 x 对 y 的影响(i+j+k) ，然后相乘(h + m +n)*(i+j+k)：

前向模式求导追踪一个输入如何影响每一个节点，对每一个节点进行 $\frac{\partial }{\partial x}$ 操作；反向求导模式追踪每一个节点如何影响一个输出，对每一个节点进行 $\frac{\partial z}{\partial }$ 操作。
下面我们再假设一个更一般的函数$f_{\theta }(a,b,c)=({\theta }_{1}a+{\theta }_{2}b)\ast ({\theta }_3(c+1)+{\theta }_{4}b)$，其中${\theta }_1-{\theta }_4$代表上篇最后定义的权重，也就是系数，我们还是假设a = 5 , b = 3 , c = 1 ，则可以得到下列图像：

注意：蓝色框部分是从下往上看，是求值的过程；红色框部分是从上往下看，是反向模式求导的过程。
从上图中可以看出反向模式求导可以一次性将所有的参数的导数求出来，我们选择b看一下是怎么样进行反向模式求导的。
第一条路：f->g->b:
$\frac{\partial f}{\partial f}=1$
$\frac{\partial f}{\partial g}=\frac{\partial f}{\partial f}\cdot \frac{\partial f}{\partial g}=1\cdot e=5{\theta }_1+3{\theta }_2$
$\frac{\partial f}{\partial b}=\frac{\partial f}{\partial f}\cdot \frac{\partial f}{\partial g}\cdot \frac{\partial f}{\partial g}=1\cdot e\cdot {\theta }_4={\theta }_4\cdot (5{\theta }_1+3{\theta }_2)$
第二条路：f->e->b:
$\frac{\partial f}{\partial f}=1$
$\frac{\partial f}{\partial e}=\frac{\partial f}{\partial f}\cdot \frac{\partial f}{\partial b}=1\cdot g=2{\theta }_3+3{\theta }_4$
$\frac{\partial f}{\partial b}=\frac{\partial f}{\partial f}\cdot \frac{\partial f}{\partial g}\cdot \frac{\partial f}{\partial g}=1\cdot g\cdot {\theta }_4={\theta }_2\cdot (2{\theta }_3+3{\theta }_4)$
两条路合并后就是b正确的导数：
$\frac{\partial f}{\partial b}={\theta }_4\cdot (5{\theta }_1+3{\theta }_2)+{\theta }_2\cdot (2{\theta }_3+3{\theta }_4)$
可以看到是连续偏导求出的b的导数，我们假设:
${\delta }_0^L=\frac{\partial f}{\partial f}=1$
${\delta }_0^{L-1}=\frac{\partial f}{\partial e}=\frac{\partial f}{\partial f}\cdot \frac{\partial f}{\partial e}={\delta }_0^L\cdot \frac{\partial f}{\partial e}$
${\delta }_1^{L-1}=\frac{\partial f}{\partial g}=\frac{\partial f}{\partial f}\cdot \frac{\partial f}{\partial g}={\delta }_0^L\cdot \frac{\partial f}{\partial g}$
${\delta }_0^{L-2}=\frac{\partial f}{\partial g}=\frac{\partial f}{\partial f}\cdot \frac{\partial f}{\partial e}\cdot \frac{\partial e}{\partial b}+\frac{\partial f}{\partial f}\cdot \frac{\partial f}{\partial g}\cdot \frac{\partial g}{\partial b}={\delta }_0^{L-1}\cdot \frac{\partial e}{\partial b}+{\delta }_1^{L-1}\cdot \frac{\partial g}{\partial b}$
其中上述中的$L$代表层数，$L$代表最上层导数，$L-1$层代表第二层导数,…，下标代表第$L$层的第$i$个元素，可以看出，每层的偏导数是用上一层的偏导数值乘上层对本层的参数的偏导数。
理解上述反向模式求导，下面我们就可以推导反向求导：
下面是一个四层的神经网络：

上面是一个五层网络，我们先推导反向传播公式，然后选取上面几个点进行代入计算推导：
我们先来回顾一下神经网络的代价函数与梯度计算：
$$J(\theta )=-\frac{1}{m}(\sum _{i=1}^m\sum _{k=1}^K(y_k^{(i)}ln(h_{\theta }(x^{(i)}){)}_k+(1-y_k^{(i)})ln(1-h_{\theta }(x^{(i)}){)}_k))+\frac{\lambda }{m}\sum _{l=1}^L\sum _{i=1}^{s_l}\sum _{j=1}^{s_{l+1}}({\theta }_{ji}^{(l)})$$
其中的第二项为正则化项，是网络中所有权值的平方和。第一项与逻辑回归中的代价函数类似，但这里我们需要累加所有输出神经元的误差。
梯度计算：
为了能够使用梯度下降算法训练网络，我们需要计算代价函数的梯度。一种很直观的方法就是使用数值计算，对于某个${\Theta }_{ij}$，给它加上减去一个很小的量 $ϵ$来计算梯度：
$$\frac{\partial J(\theta )}{\partial {\theta }_j}\approx \frac{J({\theta }_1,\cdots ,{\theta }_j+ϵ,\cdots ,{\theta }_n)-J({\theta }_1,\cdots ,{\theta }_j-ϵ,\cdots ,{\theta }_n)}{2ϵ}$$
上式可以计算${\theta }_j$的梯度，但是如果每个都用这种方式来计算，那么算法时间与空间复杂度会导致很大，影响算法的效率，所以这种方式是不可取的，但是，这种方式往往前期用来验证梯度的计算是否正确，如果不正确则需要更改梯度算法。，注意：一旦我们确定梯度下降的算法正确，需要立即注销掉关于上述上述方式计算梯度的代码，否则会导致程序执行过慢。
那么，如果上述的方式不可以计算梯度，那么梯度该如何计算呢？我们利用与反向模式求导的对比的方式进行推导反向求导的公式：
我们继续选用上面的五层神经网络：

开始推导之前，先定义一个变量 ${\delta }_i^{(l)}$，代表下列：
$${\delta }_i^{(l)}=\frac{\partial J(\theta )}{\partial z_i^{(l)}}$$
其中$z_j^{(l)}={\Theta }_{ji}^{(l)}{a}_i^{(l-1)}$，注意：此处的j与上式的i的含义是一样的，此处只不过与刚开始所定义的i与j代表的第几层的第几个所相符。具体看上一篇的神经网络的符号的说明。
还要注意：$a_i^{(l)}=g(z_i^{(l)})$
结合反向模式求导，某个参数偏导数是各个路径上偏导数的之和，则我们可以定义出来：
$${\delta }_i^{(l)}=\sum _{j=1}^{s_{(l+1)}}\frac{\partial J(\theta )}{\partial a_k^{(l)}}\frac{\partial a_k^{(l)}}{\partial z_i^{(l)}}\text{\hspace{1em}(1)}$$
我们看到最后一层，没有其它输入，所以我们可以得到$s_{(l+1)}=i=1$
则我们可以直接得到：
$${\delta }_i^{(l)}=\frac{\partial J(\theta )}{\partial a_i^{(l)}}{g}^{\prime }(z_i^{(l)})=a_j^{(l)}-y_j^{(l)}\text{\hspace{1em}(2)}$$
上述就是最后一层的误差，对于其它层的误差如下：
$${\delta }_i^{(l)}=\frac{\partial J(\theta )}{\partial z_i^{(l)}}$$
根据链式法则可得：
$${\delta }_i^{(l)}=\sum _{j=1}^{s_{(l+1)}}\frac{\partial J(\theta )}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial a_i^{(l)}}\frac{\partial a_i^{(l)}}{\partial z_i^{(l)}}\text{\hspace{1em}(3)}$$
可以简化写成：
$${\delta }_i^{(l)}=\sum _{j=1}^{s_{(l+1)}}\frac{\partial J(\theta )}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}=\sum _{j=1}^{s_{(l+1)}}{\delta }_j^{(l+1)}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}\text{\hspace{1em}(3)}$$
其中$\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}=\frac{{\sum }_{i=1}^{s_l}{\Theta }_{ji}^{(l)}{g}^{\prime }(z_i^{(l)})+b_j^{(l)}}{\partial z_i^{(l)}}={\Theta }_{ji}^{(l)}{g}^{\prime }(z_i^{(l)})$
所以代入（3）式可得：
$${\delta }_i^{(l)}=\sum _{j=1}^{s_{(l+1)}}{\delta }_j^{(l+1)}{\Theta }_{ji}^{(l)}{g}^{\prime }(z_i^{(l)})=\sum _{j=1}^{s_{(l+1)}}{\delta }_j^{(l+1)}{\Theta }_{ji}^{(l)}{a}_i^{(l)}(1-a_i^{(l)})\text{\hspace{1em}(4)}$$
上面是${\delta }_i^{(l)}$的一般形式
同样我们可以利用和上述一样的链式求导来求$\frac{\partial J(\theta )}{\partial {\theta }_{ji}^{(l)}}$
$$\frac{\partial J(\theta )}{\partial {\theta }_{ji}^{(l)}}=\sum _{j=1}^{s_{l+1}}\frac{\partial J(\theta )}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}\frac{\partial z_i^{(l)}}{\partial {\theta }_{ji}^{(l)}}=\sum _{j=1}^{s_{(l+1)}}{\delta }_j^{(l+1)}\frac{\partial z_j^{(l+1)}}{\partial {\theta }_{ji}^{(l)}}\text{\hspace{1em}(5)}$$
其中$z_j^{(l+1)}={\sum }_{i=1}^{s_l}{\Theta }_{ji}^{(l)}{g}^{\prime }(z_i^{(l)})+b_j^{(l)}$
我们会发现$$\frac{\partial z_j^{(l+1)}}{\partial {\theta }_{ji}^{(l)}}=\frac{{\sum }_{p=1}^{s_l}{\Theta }_{ji}^{(l)}{g}^{\prime }(z_i^{(l)})+b_j^{(l)}}{\partial {\theta }_{ji}^{(l)}}=\frac{{\sum }_{p=1}^{s_l}{\Theta }_{ji}^{(l)}{a}_i^{(l)}+b_j^{(l)}}{\partial {\theta }_{ji}^{(l)}}=a_i^{(l)}\text{\hspace{1em}(6)}$$
注意：我们前面定义过 $a_i^{(l)}=g^{\prime }(z_i^{(l)})$
将（6）式代入（5）式，可以得到：
$$\frac{\partial J(\theta )}{\partial {\theta }_{ji}^{(l)}}={\delta }_j^{(l+1)}{a}_i^{(l)}\text{\hspace{1em}(7)}$$
（7）式就是我们得到的梯度计算式。
我们再继续使用上图中的例子来说明：

${\delta }_1^{(5)}=a_1^{(5)}-y_1^{(5)}$
${\delta }_1^{(4)}={\delta }_1^{(5)}{\theta }_{11}^{(4)}{a}_1^{(4)}(1-a_1^{(4)})$
${\delta }_3^{(4)}={\delta }_1^{(5)}{\theta }_{13}^{(4)}{a}_3^{(4)}(1-a_3^{(4)})$
${\delta }_1^{(3)}={\delta }_1^{(4)}{\theta }_{11}^{(3)}{a}_1^{(3)}(1-a_1^{(3)})$
${\delta }_4^{(3)}={\delta }_3^{(4)}{\theta }_{34}^{(3)}{a}_4^{(3)}(1-a_4^{(3)})$

$\frac{\partial J(\theta )}{\partial {\theta }_{11}^{(4)}}={\delta }_1^{(5)}{a}_1^{(4)}$
$\frac{\partial J(\theta )}{\partial {\theta }_{13}^{(4)}}={\delta }_1^{(5)}{a}_3^{(4)}$
$\frac{\partial J(\theta )}{\partial {\theta }_{11}^{(3)}}={\delta }_1^{(4)}{a}_1^{(3)}$
$\frac{\partial J(\theta )}{\partial {\theta }_{34}^{(3)}}={\delta }_3^{(4)}{a}_4^{(3)}$

从上面其实也看出来，反向传播实际也是表达出${\theta }_{ji}^{(l)}$对最终误差$J(\theta )$的影响程度，通过$J(\theta )$来调整${\theta }_{ji}^{(l)}$产生的影响，这种影响的计算与模式求导很像，是各个路径上对${\theta }_{ji}^{(l)}$产生的影响的总和。

看到这里，我们的反向传播算法就结束了，下面是一个神经网络的过程总结：

1. 对于所有的$l,i,j$初始化${\Delta }_{ji}^{(l)}=0$
2. 对于$m$组训练数据，$k$从1取到$m$：
   （Ⅰ）令$a^{(1)}=x^{(k)}$
   （Ⅱ）前向传播，计算各层激活向量$a^{(l)}$
   （Ⅲ）利用（2）式，计算输出层误差${\delta }^{(L)}$
   （Ⅳ）利用（4）式，计算其它层误差${\delta }^{(L-1)}、{\delta }^{(L-2)}，\cdots ，{\delta }^{(2)}$
   （Ⅴ）利用（7）式，累加${\Delta }_{ji}^{(l)}$：${\Delta }_{ji}^{(l)}:={\Delta }_{ji}^{(l)}+a_i^{(l)}{\delta }_j^{(l+1)}$
3. 计算梯度矩阵：
   $$D_{ji}^{(l)}=\{\begin{array}{ll}\frac{1}{m}{\Delta }_{ji}^{(l)}+\frac{\lambda }{m}{\Theta }_{ji}^{(l)}& ifi\ne 0\\ \frac{1}{m}{\Delta }_{ji}^{(l)}& ifi=0\end{array}$$
4. 更新权值 ${\Theta }^{(l)}:={\Theta }^{(l)}+\alpha D^{(l)}$

权值初始化

权值的初始化。对于神经网络，不能像之前那样使用相同的 0 值来初始化，这会导致每层的 逻辑单元 都相同。因此我们使用随机化的初始化方法，使得 $-\delta \le {\Theta }_{ij}^l\le \delta$ 。

神经网络的基础知识整理完毕，欢迎指出问题。