Batch Normalization(BN)的简单介绍

最新推荐文章于 2024-10-31 15:25:48 发布

原创

最新推荐文章于 2024-10-31 15:25:48 发布 · 560 阅读

CC 4.0 BY-SA版权

文章标签：

BN目的： 令一批（batch）数据对应的feature map的每一个维度（每一个channel）满足均值为0，方差为1的分布规律，通过该方法能够加速网络的收敛并提升准确率。
BN算法的步骤以及参数求解

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DrW6rHv1-1596976335966)(C:\Users\云之遥\AppData\Roaming\Typora\typora-user-images\image-20200806091523855.png)]$

μ,σ 是在正向传播过程中统计得到

γ,β 是在反向传播过程中训练得到
使用BN算法应该注意的问题：

1. 训练时要将traning参数设置为True，在验证时将trainning参数设置为False(因为训练时需要对每一批batch统计相关的参数，而在验证时，每一次只是输入1张图片，不需要统计相关的参数)。在pytorch中可通过创建模型的model.train()和model.eval()方法控制。

2.batch size尽可能设置大点，设置小后表现可能很糟糕，设置的越大求的均值和方差越接近整个训练集的均值和方差。

3.建议将bn层放在卷积层（Conv）和激活层（例如Relu）之间，且卷积层不要使用偏置bias，因为没有用，参考下图推理，即使使用了偏置bias求出的结果也是一样的 $<$