深度学习 --- stanford cs231学习笔记六(训练神经网络之权重的初始化与批归一化)

权重矩阵的初始化与批归一化

3，权重矩阵的初始化

        深度学习的学习重点就是要根据损失函数训练权重矩阵中的系数。即便如此，权重函数也不能为空，总是需要初始化为某个值。下面我们所要讨论的就是如何初始化这些权重。

3，1 全都初始化为同一个常数可以吗？

        首先要简单回顾一下隐含层中的神经元，他是由权重矩阵中的每行系数与输入x的乘积后接一个非线性函数决定的。 W有多少行，隐藏层就有多少个神经元。

        因此，当矩阵权重W中的所有元素都是同一个常数时，所有神经元的计算结果不论是在前向传播的过程中，还是在反向传播的过程中计算结果都是一样的。如此一来，隐藏层所有的神经元的功效都废了，变成了只有一个神经元。

        例如，把W的所有元素都初始化为0。不论有多少个神经元，那么前向传播的计算结果都是0，反向传播的结果都相同。

        因此，把所有权重都简单的初始化为同一个数是不行的。 

 3，2 把W初始化为一组较小的随机数

        下面是一个6层的神经网络，有5个隐含层，每层都有4096个神经元。 

        在初始化的时候把权重矩阵W初始化为均值为0标准差为1的随机数，并且让这组数统一乘以一个很小的数。使用的激活函数为tanh，每层的计算结果也就是神经元的值，保存在hs中。

下图是在前向传播的过程中，每层神经元的值的分布： 

        可见随着神经网络的深度越来越深，越来越多的神经元的值会变为0。

对于第i层而言，前向传播的公式为：

        其中表示第i层的神经元的值。结合上面的结果来看，当前向传播到很深层的网络后，该层的神经元就几乎全死了。 

此外，在反向传播时，关于第i层的权重W的本地梯度为：