批量规范化(batch normalization)

最新推荐文章于 2024-11-24 21:26:39 发布

哆啦AI梦

最新推荐文章于 2024-11-24 21:26:39 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python PyTorch 文章标签： batch 深度学习机器学习

本文链接：https://blog.csdn.net/m0_43425029/article/details/122897292

批量规范化通过标准化输入，加快深层网络训练的收敛速度，提高模型精度。它应用于全连接层和卷积层的不同位置，并在训练和预测模式下有不同的计算方式。批量规范化不仅提供正则化效果，还有助于保持神经网络中间输出的稳定性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

批量规范化可持续加速深层网络的收敛速度。可应用于单个可选层，也可应用于所有层。在每次训练迭代中，首先规范化输入，即通过减去均值并除以其标准差，两者均基于当前小批量处理。然后，应用比例系数和比例偏移。只有使用足够大的小批量，BN才有效且稳定。

$y=\frac{x-E[x]}{\sqrt{Var[x]+\epsilon }}*\gamma +\beta$

对于全连接层，BN置于全连接层中的放射变换和激活函数之间
对于卷积层，BN置于卷积层之后和非线性激活函数之前

batch normalization API参考文档https://pytorch.org/docs/master/generated/torch.nn.BatchNorm1d.html#torch.nn.BatchNorm1d

使用批量规范化层的LeNet:

import torch
import torchvision
from torch import nn
from torchvision import transforms
from torch.utils.data import DataLoader,Dataset
from d2l import torch as d2l


#数据集
def load_data_fashion_mnist(batch_size,resize):
    trans = []
    if resize:
        trans.append(transforms.Resize(size=resize))
    trans.appen