pytorch中的BatchNorm和LayerNorm

最新推荐文章于 2025-06-12 10:32:59 发布

想念@思恋

最新推荐文章于 2025-06-12 10:32:59 发布

阅读量1.8k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： pytorch

本文链接：https://blog.csdn.net/tailonh/article/details/111220836

pytorch 专栏收录该内容

47 篇文章

订阅专栏

本文介绍了深度学习中两种重要的归一化技术——BatchNorm和LayerNorm。BatchNorm在每个batch的列方向进行归一化，而LayerNorm则在每个batch的行方向上进行。通过实例代码展示了两种归一化的实现过程，并提到了在计算样本方差时的无偏估计和有偏估计的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考文章
https://blog.csdn.net/weixin_39228381/article/details/107896863
https://blog.csdn.net/weixin_39228381/article/details/107939602

BatchNorm是在batch方向（每个batch的列方向）进行归一化：

import torch.nn as nn
import torch
if __name__ == '__main__':
  norm = nn.BatchNorm1d(4, affine=False)
  inputs = torch.FloatTensor([[1,2,3,4],
                 			  [5,6,7,8]])
  print(inputs)
  output = norm(inputs)
  print(output)
  '''
  	tensor([[-1.0000, -1.0000, -1.0000, -1.0000],
    		[ 1.0000,  1.0000,  1.0000,  1.0000]])
  '''

LayerNorm是在每个batct的行方向上进行归一化：

import torch.nn as nn
import torch
if __name__ == '__main__':
  norm = nn.LayerNorm(4)
  inputs = torch.FloatTensor([[1,2,3,4],
                 			  [5,6,7,8]])
  output = norm(inputs)
  print(output)
  '''
  	tensor([[-1.3416, -0.4472,  0.4472,  1.3416],
    		[-1.3416, -0.4472,  0.4472,  1.3416]],
   				grad_fn=<NativeLayerNormBackward>)
  '''