大模型常用的Normalization方法，包括BatchNorm、LayerNorm、RMSNorm等方法，并给出样例和公式，通俗易懂

大家好，我是微学AI，今天给大家介绍一下大模型常用的Normalization方法，包括BatchNorm、LayerNorm、RMSNorm等方法，并给出样例和公式，通俗易懂。在大模型搭建与训练中，Normalization是一种重要的技术，用于加速模型训练、提高模型的泛化能力和稳定性。常见的Normalization方法有多种，每种方法都有其特定的应用场景和优势。

一、Batch Normalization (BN)

1. 定义

• Batch Normalization是在batch（一批数据）中寻找均值和方差来进行归一化操作的方法。它通过对每一批数据中的每个特征维度进行归一化，使得数据的分布更加稳定，有助于加速模型的训练过程，减少梯度消失或梯度爆炸等问题。它在深度学习中被广泛应用于卷积神经网络（CNN）等模型中。
• 对于一批数据（数据集）含有$m$个样本输入$x_1,x_2,\cdots ,x_m$，首先计算这批数据的均值${\mu }_B\leftarrow \frac{1}{m}{\sum }_{i=1}^m{x}_i$，方差${\sigma }_B^2\leftarrow \frac{1}{m}{\sum }_{i=1}^m(x_i-{\mu }_B{)}^2$，然后对每个样本$x_i$进行归一化${\hat{x}}_i\leftarrow \frac{x_i-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}$，最后再进行affine transform（仿射变换）$y_i\leftarrow \gamma {\hat{x}}_i+\beta \equiv B{N}_{\gamma ,\beta }(x_i)$，这里的$\gamma$和$\beta$是可学习的参数，$ϵ$是一个很小的数（通常为$1e-5$），用于防止分母为$0$。如果$\gamma$和$\beta$分别学习为方差和均值，那么标准化操作将被逆操作回来，由此就可视为没有标准化这一步，这使得模型更加灵活。

2. BN样例与公式

• 假设我们有一个batch大小为$m=4$，特征维度为$n=2$的数据$X=\left[\begin{array}{cc}{x}_{11}& x_{12}\\ x_{21}& x_{22}\\ x_{31}& x_{32}\\ x_{41}& x_{42}\end{array}\right]$。
• 计算均值$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right]$，其中${\mu }_1=\frac{1}{4}(x_{11}+x_{21}+x_{31}+x_{41})$，${\mu }_2=\frac{1}{4}(x_{12}+x_{22}+x_{32}+x_{42})$。
• 计算方差${\sigma }^2=\left[\begin{array}{c}{\sigma }_1^2\\ {\sigma }_2^2\end{array}\right]$，其中${\sigma }_1^2=\frac{1}{4}{\sum }_{i=1}^4(x_{i1}-{\mu }_1{)}^2$，${\sigma }_2^2=\frac{1}{4}{\sum }_{i=1}^4(x_{i2}-{\mu }_2{)}^2$。
• 归一化后的$\hat{X}=\left[\begin{array}{cc}\frac{x_{11}-{\mu }_1}{\sqrt{{\sigma }_1^2+ϵ}}& \frac{x_{12}-{\mu }_2}{\sqrt{{\sigma }_2^2+ϵ}}\\ \frac{x_{21}-{\mu }_1}{\sqrt{{\sigma }_1^2+ϵ}}& \frac{x_{22}-{\mu }_2}{\sqrt{{\sigma }_2^2+ϵ}}\\ \frac{x_{31}-{\mu }_1}{\sqrt{{\sigma }_1^2+ϵ}}& \frac{x_{32}-{\mu }_2}{\sqrt{{\sigma }_2^2+ϵ}}\\ \frac{x_{41}-{\mu }_1}{\sqrt{{\sigma }_1^2+ϵ}}& \frac{x_{42}-{\mu }_2}{\sqrt{{\sigma }_2^2+ϵ}}\end{array}\right]$。
• 经过仿射变换后的$Y=[\begin{array}{c}{\gamma }_1{\hat{x}}_{11}+{\beta }_1\end{array}$