关于BN、LN、GN

最新推荐文章于 2024-12-03 15:58:30 发布
原创 最新推荐文章于 2024-12-03 15:58:30 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

BN层的作用就是通过参数控制了每一层输出的均值和标准差。

BN的实质是对一个batchsize中的所有batch，把所有图片的相同通道的值相加，然后求均值和方差，然后对每个点做归一化，具体可参考博客，讲的很详细。

对于N*C*W*H的输入，进行BN操作时会计算出C个均值和方差，每N*W*H计算出一个均值和方差，再用计算出来的均值和方差对N*W*H个点进行归一化。

BN其实并没有解决ICS问题，而是引入了参数γ和β去调节中间层输出的均值和标准差，γ和β会在训练过程中不断更新，意味着均值和标准差也在不断变化，即BN本质上暗含了ICS。

参考：

https://zhuanlan.zhihu.com/p/152232203

https://zhuanlan.zhihu.com/p/177853578

https://baijiahao.baidu.com/s?id=1621528466443988599&wfr=spider&for=pc

BN的作用原理（BN、LN、IN和GN）
Billie使劲学的博客
06-28 2629
目录为什么引入BN？BN的作用原理BN的作用 BN的不足BN、LN、IN和GN之间的区别参考为加速网络的训练，在图像预处理时，我们就后对图像进行标准化操作，即image normalization，是的每张图片都能服从u均值σ标准差的分布。但是当图片输如到神经网络后，每经过一次卷积，数据就不会再服从该分布，这种现象叫做ICS（Internal Covariate Shift，内部协变量偏移），该现象会使输入分布变化，导致模型的训练困难，对深度神经网络影响极大，如左图所示，数据分布不统一，深层网络就需要去适应
从四个角度简单专业的理解深度学习中BN、GN、LN、IN等归一化操作
认真努力，做一只会飞的毛毛虫。
03-11 8896
作为深度学习最基础的内容，这大概是每一个算法工程师必须要理解的，但是你理解了吗？哪个归一化更牛逼你知道吗？ 无论是图像、数据还是其他方向的深度学习算法，他们学的是什么呢？学的是数据分布。就以目标检测来说：检测器之所以能对世间万物进行检测，归根到底是因为每一类目标在一张图像中的像素分布是有一定规律的，这也是深度学习的本质。那么为什么要做归一化呢？在网络训练过程中，每一类目标不会之保持一模一样的像素分布，而是会产生一种协方差偏移。这个协方差偏移简单理解就是每一类中的每一个目标都有或多或少的不同...
深度学习归一化方法总结(BN、LN、IN、GN)
weixin_43570470的博客
04-09 8203
一般在神经网络中会用到数据的归一化，比如在卷积层后进行归一化然后再下采样然后再激活等。目前比较受欢迎的数据归一化层有：BN(Batch Normalization)，LN(Layer Normalization)，IN(Instance Normalization)，GN(Group Normalization)这4种。本篇文章主要是对比一下它们各自是怎么计算的。 先看对数据的归一化是这么操作的。其实就是先计算均值和方差然后再标准化即可。具体的对一个标量数据，在给定的数据集中进行标准化是按如下进行计算的：
【深度学习】各种类型的归一化——BN、LN、IN和GN
weixin_62403234的博客
12-03 1447
深度学习的是数据分布，无论是检测一个人或一只猫，我们检测的本质是因为这张图片对应人的像素分布是有一定分布规律的。在网络训练过程中，数据并不会一成不变会发生协方差偏移的问题，这样会给模型学习带来一定难度；而且同一特征在不同图片，由于图片的色调、亮度等会有很多变化。归一化是深度学习中常用的技术，能够加速训练，增强模型的稳定性和泛化能力。
归一化方法：BN/LN/IN/GN/FN
Man
04-23 2万+
一、批量标准化(BN，Batch Normalization) 1、BN 简介 a、协变量偏移问题 我们知道，在统计机器学习中算法中，一个常见的问题是协变量偏移(Covariate Shift)，协变量可以看作是输入变量。一般的深度神经网络都要求输入变量在训练数据和测试数据上的分布是相似的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。 传统的深度神经网络在训练...
BN，LN，IN，GN的比较
gz7seven
03-05 1190
众所周知，Normalization会控制数据的尺度分布，有助于模型训练，常见的Normalization主要有BN(BatchNormalization)，LN(LayerNormalization)，IN(InstanceNormalization)，GN(GroupNormalization)这4种。本文不讲述具体的原理，只对这四种方法进行简单的比较，有不足的地方希望大牛们指正。谢谢！ 首先，在进行对比之前先讲一个问题------深度网络中的数据维度。深度网络中的数据维度一般是(N,C,H,W)(N,
15.BN、LN、IN and GN
老毛的博客
11-22 859
文章目录简介Batch Normalization 概念PyTorch的Batch Nomalzaton 1d/2d/3d实现1D2D3D常见的Normalizaton——BN、LN、IN and GN1.Layer Normalization2.Instance Normalization3.Group NormalizationNormalization小结作业： 本课程来自深度之眼deeps...
pytorch实现BN、LN、GN
qq_35985044的博客
02-16 3112
BN实现 # coding=utf8 import torch from torch import nn # track_running_stats=False，求当前 batch 真实平均值和标准差， # 而不是更新全局平均值和标准差 # affine=False, 只做归一化，不乘以 gamma 加 beta（通过训练才能确定） # num_features 为 feature map...
BN、LN、IN、GN的异同
hao1994121的博客
12-21 1万+
  从左到右依次是BN，LN，IN，GN   众所周知，深度网络中的数据维度一般是[N, C, H, W]或者[N, H, W，C]格式，N是batch size，H/W是feature的高/宽，C是feature的channel，压缩H/W至一个维度，其三维的表示如上图，假设单个方格的长度是1，那么其表示的是[6, 6，*, * ]   上图形象的表示了四种norm的工作方式： ...
特征归一化（BN、LN、IN 、GN）详解
weixin_44342777的博客
11-06 1416
Batch Normalization、Layer Normalization、Instance Normalization、Group Normalization各自的计算公式、以及优缺点详解
归一化总结：BN、LN、IN、GN、SN
weixin_47748259的博客
03-28 4142
在机器学习领域中，不同评价指标（即一组特征中的不同特征就是所述的不同评价指标）往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。即，原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。数据归一化一般有[0,1]归一化和正态分布归一化两种方法：[0,1]归一化：使结果值映射到[0，1]之间。
BN,LN,IN,GN的理解和用法
qq_44091004的博客
03-11 4145
BN,LN,IN,GN的理解和使用
计算ln_BN，LN，IN，GN都是什么？不同归一化方法的比较
weixin_42365510的博客
12-30 771
批处理归一化(BN)已经成为许多先进深度学习模型的重要组成部分，特别是在计算机视觉领域。它通过批处理中计算的平均值和方差来规范化层输入，因此得名。要使BN工作，批大小必须足够大，通常至少为32。但是，在一些情况下，我们不得不满足于小批量:当每个数据样本高度消耗内存时，例如视频或高分辨率图像当我们训练一个很大的神经网络时，它只留下很少的GPU内存来处理数据因此，我们需要BN的替代品，它能在小批量下很...
各种归一化Normalization（BN、LN、IN、GN、WN）
Drug discovery
03-25 1万+
一. 本文的内容包括： 1.Batch Normalization，其论文：https://arxiv.org/pdf/1502.03167.pdf 2.Layer Normalizaiton，其论文：https://arxiv.org/pdf/1607.06450v1.pdf 3.Instance Normalization，其论文：https://arxiv.org/pdf/1607.08022.pdf 4.Group Normalization，其论文：...
常用的归一化（Normalization） 方法：BN、LN、IN、GN
qq_38410428的博客
09-29 9201
常用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instance Normalization（IN，2017年）、Group Normalization（GN，2018年）。它们都是从激活函数的输入来考虑、做文章的，以不同的方式对激活函数的输入进行 Norm 的。 我们将输入的 fe...
BN、LN、IN、GN的区别
SCU-JJkinging的博客
07-24 4017
一、Batch Normalization        卷积神经网络的出现，网络参数量大大减低，使得几十层的深层网络成为可能。然而，在残差网络出现之前，网络的加深使得网络训练变得非常不稳定，甚至出现网络长时间不更新甚至不收敛的现象，同时网络对超参数比较敏感，超参数的微量扰动也会导致网络的训练轨迹完全改变。        2015年，Google研究人员SergeyIo
图神经网络（7）-续 GNN的具体实践（BN,dropout等）
qq_44689178的博客
03-08 1724
目录 实践中的GNN层 GNN的过渡平滑问题（节点嵌入趋同） 增强GNN的表达能力 增加跳跃连接 在实际应用中，也就是在编程的时候，基本就可以把GNN层看作是CNN层，可以往上面加上各种在深度学习中应用的模块。 实践中的GNN层 具体操作，参考深度学习中的内容。 后面自己补一个，神经网络优化内容的总结。 GNN的过渡平滑问题（节点嵌入趋同） 在GNN中，如果大量GNN层堆叠，就很有可能出现over smoothing问题——通过图神经网络处理得到的各个节点embe
十五天掌握CNN——LN层、IN层、GN层、SN层
尹江 _ Cecil
11-08 7086
魏老师学生——Cecil：学习卷积神经网络CNN之旅 Layer Normalization Layer层 Layer Normalization Layer层 BN层的缺点： ——对batchsize大小敏感，不能设置过小。 ——BN计算过程需要保存某一层神经网络batch的均值和方差等统计信息，适合定长网络结构DNN CNN，不适用不定长RNN。 LN层特点：针对不同样本计算当前样本的所有神...
BN层 LN层 WN层作用介绍
热门推荐
pandamax的博客
06-02 2万+
一：BN层李宏毅视频讲解BN（Batch Normalization）层的作用（1）加速收敛（2）控制过拟合，可以少用或不用Dropout和正则（3）降低网络对初始化权重不敏感（4）允许使用较大的学习率 链接：https://www.zhihu.com/question/38102762/answer/85238569来源：知乎1. What is BN?顾名思义，batch normalizat...
深度学习中的归一化方法总结和比较（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
最新发布
03-15
### 不同深度学习归一化方法的特点及对比 #### 批量归一化 (Batch Normalization, BN) 批量归一化是一种广泛应用于卷积神经网络的技术，它通过对每一批数据进行标准化来减少内部协变量偏移。这种方法在大、中批处理场景中表现出色，在多种视觉任务上具有良好的泛化能力[^1]。然而，当批次大小较小时，BN 的性能会显著下降，因为此时估计均值和方差的准确性较低。 #### 层归一化 (Layer Normalization, LN) 层归一化是对单一样本的所有特征维度计算均值和标准差来进行规范化的方法。相比 BN，LN 对于小批量训练更加稳定，因为它不依赖于批次统计信息。这种特性使得 LN 成为序列建模任务（如自然语言处理）的理想选择[^2]。 #### 实例归一化 (Instance Normalization, IN) 实例归一化针对的是图像风格迁移领域的问题，其中每个样本被独立地按通道进行归一化操作而不考虑其他样本的影响。这有助于保留输入图片的空间结构并突出纹理细节。 #### 组归一化 (Group Normalization, GN) 组归一化将通道划分为若干组并对每一组单独执行归一化过程。这种方式既避免了 BN 中的小批量问题又保持了一定程度上的效率提升；因此适用于各种规模的数据集以及不同的硬件环境下的模型部署需求。 #### 谱归一化 (Spectral Normalization, SN) 谱归一化的目的是控制权重矩阵的最大奇异值以实现 Lipschitz 连续性的约束条件，主要用于生成对抗网络(GANs)的研究当中。通过限制判别器函数的变化范围可以有效缓解模式崩溃现象的发生概率。 #### 幂次归一化 (PowerNorm, PN) 幂次归一化引入了一个额外参数 k 来调整激活值分布形状从而达到更好的优化效果。相比于传统的 BN 或者 LN 方法来说，它可以更灵活地适应不同类型的任务要求。 #### 双重分组归一化 (Biased Group Normalization, BGN) 双重分组归一化扩展了普通的 GN 结构，允许在同一时间应用两个不同类型的归一化策略——即先做全局级别的再局部级别或者反过来顺序也可以互换。这样的设计能够进一步增强表达力同时维持数值稳定性。 #### 条件批量归一化 (Conditional Batch Normalization, CBN) 条件批量归一化允许外部信号(比如类别标签或其他上下文信息)动态调节归一化过程中使用的缩放和平移因子 gamma 和 beta 。这对于构建可解释性强且交互友好的 AI 应用程序非常有用。 #### 频率响应归一化 (Frequency Response Normalization, FRN) 频率响应归一化旨在解决传统归一化技术可能破坏原始信号频域特性的缺陷。具体而言，它是基于傅里叶变换后的幅度谱定义新的归一化准则，进而更好地保护高频成分免受不必要的抑制作用影响。 #### 自适应批量归一化 (Self-Attention Batch Normalization, SaBN) 自适应批量归一化结合注意力机制来自动生成适合当前 mini-batch 特征表示的最佳归一化方案。该方法不仅提高了收敛速度还增强了最终预测精度水平。 ```python import torch.nn as nn class CustomNormalization(nn.Module): def __init__(self, norm_type='bn'): super(CustomNormalization, self).__init__() if norm_type == 'bn': self.norm_layer = nn.BatchNorm2d(num_features=64) elif norm_type == 'ln': self.norm_layer = nn.LayerNorm(normalized_shape=[64]) # Add other normalization types here... def forward(self, x): return self.norm_layer(x) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值