神经网络模型loss不收敛、不下降问题汇总

### 卷积神经网络中的反向传播过程 在卷积神经网络（Convolutional Neural Networks, CNNs）中，反向传播算法用于计算损失函数相对于各个权重的梯度，从而实现模型参数的有效更新。这一过程中涉及的关键操作包括前向传播、误差计算以及通过链式法则进行梯度传递。 #### 前向传播阶段 输入图像被表示成矩阵形式[^2]，经过一系列线性和非线性变换层——即卷积层(Convolution Layer)，激活函数(Activation Function)，池化层(Pooling Layer)等处理后得到最终预测输出。每一层都会对其接收的数据执行特定类型的转换，并将结果传递给下一层直到最后一层产生分类得分或其他期望的结果。 #### 计算误差项 当完成一次完整的正向遍历之后，会依据实际标签与预测之间差异来衡量当前模型性能的好坏；常用的方法有交叉熵损失(Cross Entropy Loss) 或均方根误差(Mean Squared Error)[^1]。此步骤产生的总成本/损失值反映了整个网络对于训练样本集表现出来的平均错误程度。 #### 反向传播与权值调整 为了最小化上述定义好的目标函数，在每次迭代结束时都需要利用BP (Back Propagation) 技术沿相反方向逐级回溯各节点贡献了多少于整体失误之中： - **局部敏感分析**：针对每一个参与运算单元分别求导数以量化其对全局影响； - **应用链式法则**：根据微积分原理连接起不同层次间相互依赖关系形成连续变化路径； - **累积效应评估**：汇总来自下游模块反馈回来的信息作为上游部分改进依据； - **更新策略实施**：采用诸如随机梯度下降(SGD), Adam优化器等方式按照既定学习率逐步修正原始设定参数直至收敛稳定状态为止[^4]。 ```python import torch.nn as nn from torch.autograd import Variable class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() # Define layers here def forward(self, x): out = ... # Forward pass through defined architecture def train(model, criterion, optimizer, input_data, target_labels): model.train() inputs = Variable(input_data) labels = Variable(target_labels) outputs = model(inputs) loss = criterion(outputs, labels) optimizer.zero_grad() # Clear gradients from previous iteration loss.backward() # Backward propagation: compute gradient w.r.t parameters optimizer.step() # Update weights using computed gradients ```