什么是BN(Batch Normalization)

什么是BN(Batch Normalization)？

在之前看的深度学习的期刊里，讲到了BN，故对BN做一个详细的了解。在网上查阅了许多资料，终于有一丝明白。

什么是BN？

2015年的论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》阐述了BN算法，很多论文都会引用这个算法，BN大量被用于网络训练，可见其强大。

有很多文章已经对BN的公式和流程都做了非常详细的介绍。
http://blog.csdn.net/hjimce/article/details/50866313

这里主要一些我觉得我迟迟不能理解的地方做一些记录。

1 BN 概述

对于BN来说我最开始的疑问就是，BN是什么？BN有什么用？BN放在网络模型的哪个位置？BN的作用是如何体现的？

1.1BN是什么？

就像激活函数层、卷积层、全连接层、池化层一样，BN也属于网络的一层。BN大的来说就是归一化层代替掉了LRN ( Local Response Normalization) 局部响应归一化层。详细解释可看

https://blog.csdn.net/u014296502/article/details/78839881

1.2BN有什么用？

对于之前的归一化来说，我们强行把特征做的均值为0，标准差为1࿰