m0_67869333的博客

激活函数与批归一化的位置（核心差异）原始 ResNet：采用 “卷积→批归一化（BN）→激活函数（ReLU）” 的顺序，激活函数位于卷积操作之后。ResNetV2：采用 “预激活” 设计，顺序为 “批归一化（BN）→激活函数（ReLU）→卷积”，激活函数位于卷积操作之前。这一设计能缓解深层网络的梯度消失问题，使模型在训练时更稳定，尤其适合更深的网络结构。

ResNet（Residual Network，残差网络）是一种深度卷积神经网络（CNN）架构，其核心创新是残差连接，成功解决了深度神经网络训练中的 “梯度消失” 和 “性能退化” 问题，使得训练超深网络（甚至超过 1000 层）成为可能。（ps：只要有合适的网络结构，更深的网络肯定会比较浅的网络效果要好。梯度消失：梯度消失是指在反向传播过程中，随着网络层数的增加，前面几层的梯度值变得非常小，接近于零。这会导致权重更新非常缓慢，从而无法有效训练深层网络。

混淆矩阵概述：混淆矩阵是一个二维矩阵，用于总结分类模型在不同类别上的预测结果，包括 True Positive (TP)、False Negative (FN)、False Positive (FP)、True Negative (TN)。性能指标：准确率（Accuracy）：模型正确分类的样本占总样本数的比例。精确率（Precision）：模型预测为正类别的样本中有多少是真正的正类别。召回率（Recall）：实际为正类别的样本中，有多少被模型正确预测为正类别。

训练循环size = len(dataloader.dataset) # 训练集的大小num_batches = len(dataloader) # 批次数目, (size/batch_size，向上取整)train_loss, train_acc = 0, 0 # 初始化训练损失和正确率for X, y in dataloader: # 获取图片及其标签# 计算预测误差pred = model(X) # 网络输出。

return out# 训练循环size = len(dataloader.dataset) # 训练集的大小num_batches = len(dataloader) # 批次数目, (size/batch_size，向上取整)train_loss, train_acc = 0, 0 # 初始化训练损失和正确率for X, y in dataloader: # 获取图片及其标签# 计算预测误差pred = model(X) # 网络输出。

return outmodel# 训练循环size=len(dataloader.dataset) #训练集大小num_batches=len(dataloader) #批次数目train_loss,train_acc=0,0 #初始化训练损失和正确率for X,y in dataloader: #获取图片及其标签#计算预测误差pred=model(X) #网络输出loss=loss_fn(pred,y) #计算网络输出和真实值之间的差距，targets为真实值，计算二者差值即为损失。

​ ​2.是否会下雨​​ 如果今天不下雨，那么明天下雨的机会=53.22%如果今天下雨，那么明天下雨的机会=46.78% ​5.气温对下雨的影响三、数据预处理1.缺失值处理​四、预测是否会下雨1.搭建神经网络2.模型训练​3.结果可视化​ 探索性数据分析（EDA）在天气预测项目中具有不可替代的重要价值，主要优点：数据

训练循环train_loss=0 #初始化训练损失和正确率#计算预测误差pred = model(x)#网络输出loss = loss_fn(pred,y)#计算网络输出和真实值之间的差距#反向传播opt.zero_grad()#grad属性归零loss.backward()#反向传播opt.step()#每一步自动更新#记录losssize = len(dataloader.dataset) # 测试集的大小。

2.标准化 三、构建RNN模型四、编译模型五、训练模型 六、模型评估 compile_metrics：83.6451%

【代码】深度学习笔记21-车牌识别(Pytorch)

YOLO 的 Backbone 模块是整个目标检测架构中的关键部分，负责从输入图像中提取特征。

三、训练模型1.编写训练函数2.编写测试函数3.正式训练2.模型评估五、总结1. YOLO的C3模块

VGG-16（Visual Geometry Group-16）是由牛津大学视觉几何组提出的一种深度卷积神经网络架构，用于图像分类和对象识别任务。VGG-16在2014年被提出，是VGG系列中的一种。VGG-16之所以备受关注，是因为它在ImageNet图像识别竞赛中取得了很好的成绩，展示了其在大规模图像识别任务中的有效性。以下是VGG-16的主要特点：1. 深度：VGG-16由16个卷积层和3个全连接层组成，因此具有相对较深的网络结构。这种深度有助于网络学习到更加抽象和复杂的特征。 2. 卷积层的设计

2. 卷积层的设计：VGG-16的卷积层全部采用3x3的卷积核和步长为1的卷积操作，同时在卷积层之后都接有ReLU激活函数。这种设计的好处在于，通过堆叠多个较小的卷积核，可以提高网络的非线性建模能力，同时减少了参数数量，从而降低了过拟合的风险。3. 池化层：在卷积层之后，VGG-16使用最大池化层来减少特征图的空间尺寸，帮助提取更加显著的特征并减少计算量。4. 全连接层：VGG-16在卷积层之后接有3个全连接层，最后一个全连接层输出与类别数相对应的向量，用于进行分类。

目录一、前期工作1.导入数据并读取2.创建数据加载器 二、构建简单的CNN网络三、训练模型1.编写训练函数2.编写测试函数3.设置动态学习率4.正式训练四、结果可视化五、尝试数据增强操作六、总结1.torchvision.transforms.Compose()类2.[N, C, H, W]3.感受野与卷积核大小的权衡 2.编写测试函数3.设置动态学习率4.正式训练根据loss和accuracy图，训练准确率明显高于测试准确

参数详解是 PyTorch 中用于加载和管理数据的一个实用工具类。它允许你以小批次的方式迭代你的数据集，这对于训练神经网络和其他机器学习任务非常有用。DataLoaderdataset（必需参数）：这是你的数据集对象，通常是的子类，它包含了你的数据样本。batch_size（可选参数）：指定每个小批次中包含的样本数。默认值为 1。shuffle（可选参数）：如果设置为True，则在每个 epoch 开始时对数据进行洗牌，以随机打乱样本的顺序。这对于训练数据的随机性很重要，以避免模型学习到数据的顺序性。

原型：torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros', device=None, dtype=None)( int ) – 输入图像中的通道数( int ) – 卷积产生的通道数( int or tuple ) – 卷积核的大小stride。

函数原型：torchvision.datasets.MNIST(root,train=True,transform=None,target_transform=None,download=False)root(string)：数据地址train(string)：True-训练集，False-测试集download(bool,optional):如果为True，从互联网上下载数据集，并把数据集放在root目录下。

通过本次实验，学会了比较不同优化器（Adam和SGD）在训练过程中的性能表现，可视化训练过程的损失曲线和准确率等指标。这是一项非常重要的技能，在研究论文中，可以通过这些优化方法可以提高工作量。

在深度学习中，数据增强（Data Augmentation）是一种通过对现有数据进行各种转换和变换，从而生成更多训练样本的方法。在计算机视觉中，常见的数据增强方法包括随机裁剪、旋转、翻转、缩放、平移、亮度调整、对比度调整、添加噪声等。其主要目的是通过增加数据量和多样性，帮助模型学习到更加泛化的特征，提高模型的鲁棒性，并减少过拟合现象。随机亮度、对比度、色度、饱和度的设置# 这是大家可以自由发挥的一个地方# 随机改变图像对比度# 随机改变图像的亮度# 随机改变图像的色度# 随机改变图像的饱和度。

在训练模型的时候报错，在问了AI后，知道了动态调整学习率需要注意版本兼容问题。TensorFlow 的优化器属性因版本不同而有所变化，新版本中使用model.optimizer.learning_rate.assign(lr)，而旧版本中可以用 K.set_value(model.optimizer.lr, lr)。此外，确保学习率的数据类型为浮点数（float），避免因类型不匹配导致报错。通过兼容不同版本的方式，不仅提高了代码的鲁棒性，也为后续模型优化提供了更灵活的解决方案。

tqdm是Python的进度条库，可以在 Python长循环中添加一个进度提示信息。

自己搭建VGG模型时，需要先对数据进行归一化操作，利用rescaling包并通过.map(lambda x,y:)

1. 网络结构层数: VGG16包含16个主要的权重层，包括13个卷积层和3个全连接层。卷积层: VGG16使用小的3x3卷积核进行卷积操作，增加了网络的深度，同时保持了较少的参数数量。池化层: 每隔几个卷积层后，会使用2x2的Max Pooling降低特征图的尺寸，并减少计算量。2. 激活函数VGG网络普遍使用ReLU作为激活函数，增加了网络的非线性表达能力。3. 输入和输出输入: VGG16接受224x224像素的RGB图像作为输入。

在深度学习中，模型训练是一个反复进行的过程，模型的效果也会随着训练的进行不断改变。所以可以利用回调函数及时保存模型。在上一个实例中，我们自定义了一个监控val_accuracy的回调函数也是为了避免模型效果的丢失。而且ModelCheckpoint函数也有助于防止过拟合，及时停止训练或回溯到表现较好的模型权重，有助于提高模型泛化能力。