神经网络训练loss不下降原因集合

最新推荐文章于 2025-06-04 11:04:38 发布
最新推荐文章于 2025-06-04 11:04:38 发布
阅读量6.4w 收藏 276
点赞数 42
分类专栏： 深度学习 文章标签： loss 深度学习
本文针对训练过程中遇到的loss保持常数问题进行了详细分析，并提出了有效的解决方案。包括loss等于87.33不变的情况，通常由softmax计算过程中的float溢出引起；以及loss保持0.69左右的情况，可能与网络配置有关。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

train loss与test loss结果分析

train loss 不断下降，test loss不断下降，说明网络仍在学习;
train loss 不断下降，test loss趋于不变，说明网络过拟合;
train loss 趋于不变，test loss不断下降，说明数据集100%有问题;
train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;
train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。

实例

这段在使用caffe的时候遇到了两个问题都是在训练的过程中loss基本保持常数值，特此记录一下。

1.loss等于87.33不变

loss等于87.33这个问题是在对Inception-V3网络不管是fine-tuning还是train的时候遇到的，无论网络迭代多少次，网络的loss一直保持恒定。
查阅相关资料以后发现是由于loss的最大值由FLT_MIN计算得到，FLT_MIN是1.17549435e−38F​1.17549435e−38F​其对应的自然对数正好是-87.3356，这也就对应上了loss保持87.3356了。
这说明softmax在计算的过程中得到了概率值出现了零，由于softmax是用指数函数计算的，指数函数的值都是大于0的，所以应该是计算过程中出现了float溢出的异常，也就是出现了inf，nan等异常值导致softmax输出为0.
当softmax之前的feature值过大时，由于softmax先求指数，会超出float的数据范围，成为inf。inf与其他任何数值的和都是inf，softmax在做除法时任何正常范围的数值除以inf都会变成0.然后求loss就出现了87.3356的情况。
解决办法
由于softmax输入的feature由两部分计算得到：一部分是输入数据，另一部分是各层的权值等组成
减小初始化权重，以使得softmax的输入feature处于一个比较小的范围
降低学习率，这样可以减小权重的波动范围
如果有BN(batch normalization)层，finetune时最好不要冻结BN的参数，否则数据分布不一致时很容易使输出值变得很大(注意将batch_norm_param中的use_global_stats设置为false )。
观察数据中是否有异常样本或异常label导致数据读取异常
本文遇到的情况采用降低学习率的方法，learning rate设置为0.01或者原来loss的1/5或者1/10。

2.loss保持0.69左右

采用VGG-16在做一个二分类问题,所以计算loss时等价与下面的公式：

loss=−log(Pk==label) l o s s = − l o g ( P k == l a b e l )

loss=−log(Pk==label)loss=−log(Pk==label)
当p=0.5时，loss正好为0.693147，也就是训练过程中，无论如何调节网络都不收敛。最初的网络配置文件卷积层的参数如下所示：
这里写图片描述
从VGG-16训练好的模型进行fine-tuning也不发生改变，当在网络中加入初始化参数和decay_mult以后再次训练网络开始收敛。
这里写图片描述
但是具体是什么原因造成的，暂时还没有找到，难道是初始化参数的问题还是？

总结

loss一直不下降的原因有很多，可以从头到尾滤一遍： 1）数据的输入是否正常，data和label是否一致。 2）网络架构的选择，一般是越深越好，也分数据集。 并且用不用在大数据集上pre-train的参数也很重要的 3）loss 公式对不对。

相关博客推荐

Loss和神经网络训练介绍的比较完整，有1.梯度检验2.训练前检查，3.训练中监控4.首层可视化5.模型融合和优化等等等
Facenet即triplet network模型训练，loss不收敛的问题？

原文链接：训练loss不下降原因集合

训练loss不下降原因集合
jacke121的专栏
04-09 9万+
一，train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小...
vgg16从头训练loss不变的解决方法
SplashSugar的从一到零
06-28 6541
从头开始训练，会碰上loss=-ln(类别数)的情况，例如二分类问题loss恒等于0.69，四分类分体loss恒等于1.386推测是由于权重变成NaN之后通过fc变成相同的数导致最终每类的概率相同。 将参数的“gaussian”初始方式 修改为“xavier”, 否则训练的时候可能不会收敛。参数的初始化方式很重要。 convolution_param { num_output: 64...
训练loss不下降原因
牛肉胡辣汤
11-08 4615
损失函数的选择是模型训练的关键步骤，它直接影响模型的学习和优化过程。在机器学习模型的训练过程中，我们经常会遇到一个问题，即模型的训练损失（loss）在一定的迭代次数之后不再下降。我们可以通过数据扩增的方法来增加训练数据的数量，提高模型的泛化能力。通过合适的数据预处理、模型复杂度控制、学习率调整和数据集规模扩增等方法，我们可以逐步解决训练loss不下降的问题，提高模型的性能。在构建深度卷积神经网络时，我们可以通过调整模型的层数、卷积核数量、全连接层大小等参数来控制模型的复杂度。合适的学习率是优化模型的关键。
【每天一个知识点】BP神经网络
最新发布
dundunmm的博客
06-04 732
BP神经网络是由Rumelhart和McClelland于1986年提出的一种多层前馈神经网络，采用误差反向传播算法（Backpropagation）进行训练，广泛用于非线性映射、函数逼近、模式识别与分类预测等任务，是神经网络技术中最具代表性的一种模型。BP网络也是现代深度学习模型（如DNN、CNN等）的基础，是许多复杂网络架构的原型。BP神经网络是现代人工智能发展的基石，它从结构上实现了多层感知机的学习能力，从算法上推动了梯度下降与反向传播技术的普及。
训练模型时损失函数无法下降
m0_55720416的博客
07-13 902
当学习率设置过大时，可能会导致损失函数从一个峰值跳跃到另一个峰值，学习率一般可以从0.1试到0.0001。
神经网络训练时loss（损失函数）不下降的原因和解决方案
Yezy
04-21 4476
详情参照：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/
loss损失不下降的原因
进击的扛把子
04-27 1万+
文章目录前言训练集loss不下降1.模型结构和特征工程存在问题2.权重初始化方案有问题3.正则化过度4.选择合适的激活函数，损失函数5.选择合适的优化器和学习速率6.训练时间不足7.模型训练遇到瓶颈8.batch size过大9.数据集未打乱10.数据集有问题11.未进行归一化12.特征工程中对数据特征的选取有问题验证集loss不下降1.适当的正则化和降维2.适当降低模型规模3.获取更多的数据集4.对数据集做扰动和扩增测试集loss不下降1.应用场景有问题2.噪声问题 前言 当我们训练一个神经网络模型的时候
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
热门推荐
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
Keras深度学习实战（1）——神经网络基础与模型训练过程详解
盼小辉丶的博客
04-10 6万+
神经网络是一种性能强大的学习算法，其灵感来自大脑的运作方式。类似于神经元在大脑中彼此连接的方式，神经网络获取输入后，通过某些函数在网络中进行传递输入信息，连接在其后的一些神经元会被激活，从而产生输出。本文主要介绍神经网络中重要的基础知识，然后使用 Python 从零开始构建神经网络的训练流程，包括前向传播和反向传播，更直观的了解神经网络的通用训练流程。............
神经网络训练loss不下降原因以及解决办法
Vuko_Coding Zone
10-11 6780
train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; 在训练过程中loss可能会出现几次震荡现象，但是整体有上升趋势就说明网络还在学习，可以继续训练。 train loss 不断下降，test loss趋于不变，说明网络过拟合 过拟合 最直观的表现就是training accurac...
深度学习损失函数不下降的解决方法
lizz2276的博客
08-13 1万+
当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。 一，train loss与test loss结果分析【1】 train loss 不断下降，test loss不断下降，说明网络仍在
loss不降低原因以及解决方法
ZauberC的博客
11-08 7512
知乎上还有个总结也挺经典train loss 不断下降，test loss不断下降，说明网络仍在学习;train loss 不断下降，test loss趋于不变，说明网络过拟合;train loss 趋于不变，test loss不断下降，说明数据集100%有问题;train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。
神经网络_训练loss不下降原因集合
qq_36744449的博客
08-09 1万+
一，train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目; train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数
mxnet VGG16 LOSS降不下来，原因竟是
sheldonggz的博客
03-10 4628
上古时期的mxnet不但官方给的预训练模型地址早已改变，而且模型还有错误 模型地址：MXNet made simple: Pretrained Models for image classification - Inception and VGG | Arthur Caillau 官方给的模型和能找到的github上的代码很多都缺少bachnorm层，因此loss下降不下来。 ...
训练loss不下降的原因总结
weixin_39422563的博客
06-08 1万+
表现：训练过程中loss值一直震荡，没有下降趋势 原因一：梯度消失；多因为网络深度过深，接近输入层的参数 梯度过小； 解决方法：调整网络，激活函数relu，batch normal等 原因二：训练数据分布不均匀；这种情况对训练数据shuffle即可 原因三：学习率过大或者过小；过大就会在loss最小处周围震荡，通常一开始会有一定下降；过小就是收敛太慢 tensorflow2中可以直接打出每个step的梯度值，便于发现问题 ...
训练网络---train loss从一开始就不变
qq_42037837的博客
04-20 4192
训练网络—train loss、test loss,accuracy从一开始就不变 在训练NTSNet的时候，使用了vgg_16bn的baseline，将其设置为unpretrained的时候，发现vgg文件使用了默认的kaiming初始化。 但遇到这样一个问题：把vgg_16bn的参数全部打印处理，它有很多层的w权重为接近0的特别小的数，导致数据变化的程度不足以影响得到的结果。 **train ...
损失函数一直在波动_流体流经管路的阻力损失
weixin_39975055的博客
11-26 1319
总阻力：1. 直管阻力：由于流体的内摩擦而产生的阻力。2. 局部阻力：流体流经管路中管件、阀门等局部地方所引起的阻力。湍流时的速度分布与摩擦系数湍流速度分布只能就时间平局而言，真实速度围绕均值波动(包括大小和方向)。平均速度在截面上、尤其在管中心部位分布更趋平坦。试验表明：在发达湍流情况下，u≈0.82umax。因次分析法：问题：流体流动与传递过程是十分复杂的现象，许多问题难于完全通过理论解析表达...
神经网络训练效果评判
01-09
### 如何评估神经网络的训练效果 为了全面评估神经网络模型的训练性能与准确性，可以从以下几个方面入手： #### 1. 训练集、验证集和测试集的表现差异 通过比较不同集合上的表现来判断模型的状态。训练集用于更新模型参数，使模型能够学习到输入数据中的模式[^3]。理想情况下，在训练初期，随着迭代次数增多，训练损失应逐渐减少。 对于验证集而言，这部分数据主要用于监控过拟合现象并调优超参数。如果发现验证集上错误率先下降再上升，则意味着出现了过拟合情况——即模型过度适应了训练样本而非泛化能力不足。此时应当考虑提前终止训练或简化架构以防止这种情况发生[^2]。 至于测试集，它代表了一种绝对检验手段，仅在完成所有调整之后才会被使用一次，以此衡量最终版本模型的真实效能。值得注意的是，绝不能让任何有关于测试集的信息影响到之前的开发过程，以免造成偏差。 #### 2. 关键指标的选择 针对具体应用场景选取合适的评价标准至关重要。分类任务常用准确度(Accuracy)，但对于不平衡类别分布的任务来说，精确率(Precision)、召回率(Recall)以及F1分数可能是更好的选项；而对于回归问题则更多关注均方根误差(RMSE)等统计量。 #### 3. 曲线绘制辅助理解 除了数值型指标外，还可以借助图表直观展示变化趋势。比如绘制Loss曲线可以观察收敛速度及稳定性；ROC曲线下面积（AUC-ROC）有助于评估二元分类器的质量；混淆矩阵能清晰反映各类别间的误判状况。 ```python import matplotlib.pyplot as plt def plot_loss_curve(history): """绘制loss随epoch的变化图""" train_losses = history.history['loss'] val_losses = history.history['val_loss'] epochs = range(len(train_losses)) plt.figure() plt.plot(epochs, train_losses, 'b', label='Training loss') plt.plot(epochs, val_losses, 'r', label='Validation loss') plt.title('Training and validation loss') plt.xlabel('Epochs') plt.ylabel('Loss') plt.legend() plot_loss_curve(training_history) ```
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值