超细节的 BatchNorm/BN/LayerNorm/LN 知识点_ln对每个单独的样本norm,会导致每个样本都靠近0均值1方差-CSDN博客

本文链接：https://blog.csdn.net/songyunli1111/article/details/125029059

本文通过Q&A形式详细探讨BatchNorm和LayerNorm在深度学习中的应用，包括训练和测试时的差异、移动平均、参数影响、标准化作用等。解释了为何Transformer使用LayerNorm而非BatchNorm，并解析了Norm的维度选择对模型效果的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Norm，也即Normalization，已经是深度神经网络模型中非常常规的操作了，但它背后的实现，原理和作用等，其实我们可以理解的更细致，本文会以最常用的 BatchNorm 和 LayerNorm 为例（其他Norm方法大同小异），通过Q&A的形式，去深入理解关于 Norm 的细节知识点。

1、BN在训练和测试时的差异

2、BN中的移动平均 Moving Average是怎么做的

3、移动平均中 Momentum 参数的影响

4、Norm中的标准化、平移和缩放的作用

5、不同Norm方法中都有哪些参数要保存

6、BN和LN 有哪些差异

7、为什么BERT使用LN，而不使用BN

8、如何去理解在哪一个维度做Norm

1、BN在训练和测试时的差异

对于BN，在训练时，是对每一个batch的训练数据进行归一化，也即用每一批数据的均值和方差。

而在测试时，比如进行一个样本的预测，就并没有batch的概念，因此，这个时候用的均值和方差是在训练过程中通过滑动平均得到的均值和方差，这个会和模型权重一起，在训练完成后一并保存下来。

对于BN，是对每一批数据进行归一化到一个相同的分布，而每一批数据的均值和方差会有一定的差别，而不是用固定的值，这个差别实际上也能够增加模型的鲁棒性，并会在一定程度上减少过拟合。

但是一批数据和全量数据的均值和方差相差太多，又无法较好地代表训练集的分布，因此，BN一般要求将训练集完全打乱，并用一个较大的batch值，去缩小与全量数据的差别。

2、BN中的移动平均 Moving Average是怎么做的

训练过程中的每一个batch都会进行移动平均的计算[1]：

moving_mean = moving_mean * momentum + batch_mean * (1 - momentum)
moving_var = moving_var * momentum + bat