NLP高频面试题（四）——BN和LN的区别与联系，为什么attention要用LN

于 2025-03-18 23:45:57 发布
阅读量1k 收藏 12
点赞数 24
CC 4.0 BY-SA版权
分类专栏： NLP/大模型八股 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41667743/article/details/146355679

在深度学习模型中，Normalization是一种极为重要的技巧，Batch Normalization（BN）和Layer Normalization（LN）是其中最为常用的两种方法。然而，二者在实际应用中有着明显的区别与联系，尤其在Transformer的Attention机制中，LN有着独特的优势。

一、BN与LN的核心区别与联系

1. Batch Normalization (BN)

BN的思想源于一个叫Internal Covariate Shift（ICS）的概念，即在训练过程中，每个mini-batch的数据分布都会发生变化，导致训练变得困难。

BN的做法是在每个batch中，沿着特征通道对所有样本计算均值和方差，使数据强制保持均值为0、方差为1的分布。这有效地缓解了梯度消失的问题，加速了模型的训练过程。

BN计算公式为：

y =

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NLP高频面试题（五十四）——深度学习归一化详解
WeLearnNLP
04-25 380
现代深度学习中出现了多种归一化技术，它们各有针对的应用场景和特点。我们下面将介绍批归一化（Batch Normalization）层归一化（Layer Normalization）组归一化（Group Normalization）等最为常见的方法，以及实例归一化（Instance Normalization）、**权重归一化（Weight Normalization）**等衍生技术。对于每种方法，我们将讨论其核心原理、计算步骤、优势与局限。
NLP高频面试题：参数更新、bert训练、扩充样本、layer&batch等
niuyunpang的博客
11-16 572
请介绍几种常用的参数更新方法。 梯度下降：在一个方向上更新和调整模型的参数，来最小化损失函数。 随机梯度下降（Stochastic gradient descent，SGD）对每个训练样本进行参数更新，每次执行都进行一次更新，且执行速度更快。 为了避免SGD和标准梯度下降中存在的问题，一个改进方法为小批量梯度下降（Mini Batch Gradient Descent），因为对每个批次中的n个训练样本，这种方法只执行一次更新。 使用小批量梯度下降的优点是： 可以减少参数更新的波动，最终得到效果更好和更稳.
Batch Normalization详解以及BN和LN的区别
qq_38375203的博客
06-09 1380
最近要找工作，也是复习一下面经。之前经常看过的BN也是面试中的重中之重，记得当时面试华为诺亚方舟实验室的时候，面试官就问到了我BN和LN的区别，当时也仅仅是将这两者的区别说出来了，但是并没有进行扩展，现在想想也是有点后悔的（其实当时自己也不知道该扩展啥）。在今天也就做一下总结，来概括一下这两者的区别以及BN的动机原理。在机器学习领域有个非常重要的假设样本之间的独立同分布，也就是训练数据和测试数据假设是满足相同分布，这样我们通过训练数据训练模型才能够在测试数据上获得较好的效果(这个独立同分布是一个前提)。 然
BN与LN的区别
热门推荐
进击的扛把子
04-25 1万+
BN与LN的区别 主要区别在于 normalization的方向不同！ Batch 顾名思义是对一个batch进行操作。假设我们有 10行 3列 的数据，即我们的batchsize = 10，每一行数据有三个特征，假设这三个特征是【身高、体重、年龄】。那么BN是针对每一列（特征）进行缩放，例如算出【身高】的均值与方差，再对身高这一列的10个数据进行缩放。体重和年龄同理。这是一种“列缩放”。 而layer方向相反，它针对的是每一行进行缩放。即只看一笔数据，算出这笔所有特征的均值与方差再缩放。这是一种“行缩放”
LN层和BN层的区别？
GamBleout的博客
09-23 932
LN层，即层标准化层，是另一种归一化技术，它主要关注于对神经网络中某一层的所有神经元进行归一化处理。
BN和LN
qq_41284164的博客
09-15 956
BN和LN对比 共同作用：加速网络收敛，避免梯度消失。 BN: Batch Normalization,每个batch中同一个维度每个特征做BN，如橙框所示。 LN: Layer Normalization,对一个样本不同特征做LN，如红框所示。 BN缺点: (1) BN用batch来模拟整个样本分布情况，比较依赖batchsize的大小，如果batchsize太小，则计算的均值、方差不足以代表整个数据分布。 (2)在RNN中，BN效果较差。 (ICML2020:Rethinking Batch Norma
归一化总结：BN和LN的差别
weixin_44543648的博客
05-17 3615
参考链接：https://blog.csdn.net/qq_37541097/article/details/117653177 https://blog.csdn.net/Strive_For_Future/article/details/115220627 为什么要归一化： 在机器学习和深度学习中，有一个共识：独立同分布的数据可以简化模型的训练以及提升模型的预测能力——这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。也就是说我们在使用机器学习和深度学习的时候，会把数据尽可能的做一个独立
腾讯NLP算法面试题整
neituijiang的博客
05-20 773
大家好，这里是面经酱～ 今天来帮大家梳理网上公开面经中提到的腾讯NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～ 编程&数学基础 高楼扔鸡蛋问题取数对弈螺丝螺母匹配求一个大于等于输入的正整数的最小降序序列Top K贪心和 DP 区别两颗二叉树，判断B树是否为A的子树最长不重复子串打家劫舍给100亿个数据，怎么找到中位数二叉树直径正则表达式match()和search()差别最长公共子串指针与引用的区别蓄水池抽样问题甲乙扔骰
阿里巴巴NLP算法面试题整理
neituijiang的博客
05-12 2335
大家好，这里是面经酱～ 今天来帮大家梳理网上公开面经中提到的阿里NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～ 今天来帮大家梳理网上公开面经中提到的阿里NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～ 编程&数学基础 【高频】Topk 三叉树遍历 求一个大于等于输入的正整数的最小降序序列 快排 提取有效的ip地址 【高频】贪心和DP的区别 给定x
【深度学习中的批量归一化BN和层归一化LN】BN层（Batch Normalization）和LN层（Layer Normalization）的区别
m0_48086806的博客
08-07 1万+
【深度学习中的批量归一化和层归一化】BN层（Batch Normalization）和LN层（Layer Normalization）的区别
（十二）BN和LN
Miracle_520的博客
04-11 5087
文章目录一、基于规则的方法二、基于监督学习的方法三、Bootstrap算法四、Snowball 一、基于规则的方法 优点： 比较准确 不需要训练数据 缺点： low recall rate，（覆盖问题），覆盖范围小，很多规则人想不到 成本（人力） 规则本身难以设计（规则不冲突，规则不冗余） 二、基于监督学习的方法 定义关系类型 定义实体类型 训练数据准确 实体标记好（类型） ...
计算ln_BN，LN，IN，GN都是什么？不同归一化方法的比较
weixin_42365510的博客
12-30 766
批处理归一化(BN)已经成为许多先进深度学习模型的重要组成部分，特别是在计算机视觉领域。它通过批处理中计算的平均值和方差来规范化层输入，因此得名。要使BN工作，批大小必须足够大，通常至少为32。但是，在一些情况下，我们不得不满足于小批量:当每个数据样本高度消耗内存时，例如视频或高分辨率图像当我们训练一个很大的神经网络时，它只留下很少的GPU内存来处理数据因此，我们需要BN的替代品，它能在小批量下很...
BN和LN的区别
天空的味道
04-25 2035
BN 针对一个batch_size中同一维度的样本在做处理。比如上图，有x1,x2,…,xR个样本，这些样本的第一个维度描述的是体重，第二个维度描述的身高，BN在所有样本的的每一个特征（比如体重维度、身高维度）上进行归一化， BN的优点：第一个优点可以解决内部协变量偏移，第二个优点就是缓解了梯度饱和问题（如果使用sigmoid函数的话），加快收敛。 BN的缺点：第一个缺点batch_size较小的时候，效果很差，因为BN就是用batch_size中样本的均值和方差去模拟全部样本的均值和方差，这个假设在
解决方案：深度学习中，BN跟LN有什么区别
weixin_42504788的博客
10-08 766
解决方案：深度学习中，BN跟LN有什么区别
批量归一化（BN）和层归一化（LN）的区别
weixin_44115575的博客
06-03 3058
以批量归一化举例但是批量归一化同时也降低了模型的拟合能力，归一化之后的输入分布被强制拉到均值为0和标准差为1的正态分布上来，简单来说特征之间的距离不会跑的很远，大部分特征都在正态分布的那个峰值附近。以Sigmoid激活函数为例，批量归一化之后数据整体处于函数的非饱和区域，只包含线性变换（多层的线性函数跟一层线性网络是等价的，网络的表达能力下降），破坏了之前学习到的特征分布。因此，为了使得归一化不对网络的表达能力造成负面印象，可以通过一个附加的缩放和平移变换改变取值区间。
基础算法：BN与LN算法区别
weixin_48186491的博客
10-10 1103
网址：https://blog.csdn.net/Miracle_520/article/details/105429456?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162814815816780271581681%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162814815816780271581681
BN和LN理解
qq_42316533的博客
05-23 2156
BN 针对一个batch_size中同一维度的样本在做处理。比如上图，有x1,x2,…,xR个样本，这些样本的第一个维度描述的是体重，第二个维度描述的身高，BN在所有样本的的每一个特征（比如体重维度、身高维度）上进行归一化， BN的优点：第一个优点可以解决内部协变量偏移，第二个优点就是缓解了梯度饱和问题（如果使用sigmoid函数的话），加快收敛。 BN的缺点：第一个缺点batch_size较小的时候，效果很差，因为BN就是用batch_size中样本的均值和方差去模拟全部样本的均值和方差，这个假设在样本
BN 与 LN：深度学习中的两种归一化技术对比
weixin_60006489的博客
10-30 1414
在深度学习中，归一化技术对模型训练的稳定性和速度起着至关重要的作用。Batch Normalization (BN) 和 Layer Normalization (LN) 是最常用的两种归一化方法，但它们适用的场景和效果差别较大。BN 通常用于卷积神经网络（CNN），而 LN 则更适合于序列数据和 Transformer 结构。本文详细对比了 BN 和 LN 的适用场景及它们在不同数据结构中的表现差异。
ln和bn的区别，为什么nlp用ln不用bn
最新发布
02-22
然而，它们在网络中的应用位置、工作原理以及适用场景方面有所不同，尤其是在自然语言处理（NLP）领域。 ### 区别 #### 1. 工作原理 - **批归一化（BN）**：通过对每一批次的小批量数据（mini-batch）进行统计均值...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Chaos_Wang_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值