深度学习问题检查——训练出现nan, loss不降

### 深度学习模型中 `RuntimeWarning: Mean of empty slice` 和 `invalid value encountered in divide` 的解决方法 在深度学习项目中，经常会遇到由 NumPy 或 PyTorch 提供的警告消息，例如 `RuntimeWarning: Mean of empty slice` 和 `invalid value encountered in divide`。这类问题通常是由数据质量问题、张量操作不当或模型设计缺陷引起的。 #### 一、问题的根本原因 1. **`Mean of empty slice`** 当尝试对一个空数组或张量求均值时，NumPy 或 PyTorch 将触发此警告。这可能发生在以下场景： - 数据集中某些类别的标注缺失。 - 预测结果为空集合（即没有任何检测到的目标）[^1]。 2. **`invalid value encountered in divide`** 此警告表明在执行除法运算时遇到了无效值（如零或 NaN）。常见原因是分母为零，尤其是在计算 Precision、Recall 或其他基于比率的指标时[^4]。 --- #### 二、解决方案 ##### 方法 1：修改代码以安全处理潜在错误 为了防止这些警告中断程序运行，可以在关键位置引入保护机制。 ###### （1）对于 `Mean of empty slice` 在调用 `.mean()` 前检查输入是否为空： ```python import numpy as np def safe_mean(tensor): if isinstance(tensor, np.ndarray): # 如果是 NumPy 数组 if tensor.size == 0: return 0 # 返回默认值 elif isinstance(tensor, torch.Tensor): # 如果是 PyTorch 张量 if tensor.numel() == 0: return torch.tensor(0, dtype=tensor.dtype, device=tensor.device) return tensor.mean() ``` ###### （2）对于 `invalid value encountered in divide` 在执行除法前确保分母不为零： ```python epsilon = 1e-8 # 添加一个小常数避免除零 precision = numerator / (denominator + epsilon) recall = true_positive / (true_positive + false_negative + epsilon) ``` --- ##### 方法 2：全局禁用特定警告 如果不希望看到这些警告信息，可以临时屏蔽它们。但这只是治标之策，应谨慎使用。 ```python np.seterr(divide='ignore', invalid='ignore') # 屏蔽 NumPy 警告 torch.set_num_threads(1) # 对于 PyTorch 可能需要额外配置线程优化 ``` --- ##### 方法 3：清理和验证数据质量 许多警告来源于不良数据。因此，在训练之前应对数据进行全面检查和预处理。 ###### （1）移除无效样本 如果发现某些样本存在问题（如标注丢失或特征维度异常），可以直接将其剔除。参考如下实现： ```python self.x_train_temp = x_train.numpy() self.y_train_temp = y_train.numpy() del_list = [idx for idx, sample in enumerate(self.x_train_temp) if sample.shape != target_shape] self.x_train_temp = np.delete(self.x_train_temp, del_list, axis=0) self.y_train_temp = np.delete(self.y_train_temp, del_list, axis=0) self.x_train = torch.from_numpy(self.x_train_temp).float() self.y_train = torch.from_numpy(self.y_train_temp).long() ``` ###### （2）填充缺失值 另一种选择是对缺失值进行插补而非简单删除： ```python from sklearn.impute import SimpleImputer imputer = SimpleImputer(strategy="mean") # 使用均值填补 data_cleaned = imputer.fit_transform(data_raw) ``` --- ##### 方法 4：监控模型中间状态 即使解决了上述警告，仍需进一步确认模型是否按预期工作。为此可定期打印重要变量的状态： ```python if epoch % log_interval == 0: print(f"Epoch {epoch}: Loss={loss.item()}, Accuracy={accuracy}") # 打印梯度范数以防爆炸或消失现象 for name, param in model.named_parameters(): if param.grad is not None: grad_norm = param.grad.norm().item() print(f"{name} gradient norm: {grad_norm}") ``` --- ### 结论 通过以上措施能够有效消除大部分与 `RuntimeWarning` 相关的问题，并保障模型平稳运行。然而需要注意的是，单纯压制警告并不能彻底根除隐患——只有从根本上改善数据质量和算法逻辑才能达到最佳效果。