本文探讨了Batch Norm为何能有效加速学习。一方面，Batch Norm通过归一化输入和隐藏层值，使特征值保持在相近范围内，从而加速学习。另一方面，它减少了由于数据分布变化（Covariate shift）导致的网络层间影响，使得网络各层能相对独立地学习，提升学习效率。此外，Batch Norm还具有轻微的正则化效果，类似dropout，但主要作用仍是加速学习。
Batch Norm 为什么奏效？（Why does Batch Norm work?）
为什么Batch归一化会起作用呢？
一个原因是，你已经看到如何归一化输入特征值x，使其均值为0，方差1.
它又是怎样加速学习的，有一些从0到1而不是从1到1000的特征值，通过归一化所有的输入特征值x，以获得类似范围的值，可以加速学习。
所以Batch归一化起的作用的原因，直观的一点就是，它在做类似的工作，但不仅仅对于这里的输入值，还有隐藏单元的值，这只是Batch归一化作用的冰山一角，还有些深层的原理，它会有助于你对Batch归一化的作用有更深的理解，让我们一起来看看吧。
Batch归一化有效的第二个原因是，它可以使权重比你的网络更滞后或更深层，比如，第10层的权重更能经受得住变化，相比于神经网络中前层的权重，比如第1层，为了解释我的意思，让我们来看看这个最生动形象的例子。
这是一个网络的训练，也许是个浅层网络，比如logistic回归或是一个神经网络，也许是个浅层网络，像这个回归函数。
或一个深层网络，建立在我们著名的猫脸识别检测上，但假设你已经在所有黑猫的图像上训练了数据集，如果现在你要把此网络应用于有色猫，这种情况下，正面的例子不只是左边的黑猫，还有右边其它颜色的猫&#
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
