【AI面试】BN（Batch Norm）批量归一化

批量归一化（BN）是为了解决深度学习中内部协变量转移问题，加速训练并提高模型性能。BN通过计算批次数据的均值和方差进行归一化，然后应用可学习的参数进行调整。它通常应用于全连接层和卷积层的激活函数前。在推理阶段，使用训练阶段统计的全局均值和方差。BN与Layer Normalization（LN）的区别在于BN沿通道维度归一化，而LN对每个样本的所有通道进行归一化。BN在图像处理中表现良好，而在NLP中，LN可能更合适。