y:362: FutureWarning: `torch.cuda.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cuda', args...)` instead.

### 解决 `torch.cuda.amp.GradScaler` 和 `torch.cuda.amp.autocast` 的弃用警告问题 在 PyTorch 中，混合精度训练（Mixed Precision Training, AMP）通过 `autocast` 和 `GradScaler` 提供了高效的实现方式。然而，在较新的版本中，PyTorch 对这些功能进行了重构或改进，可能会引发弃用警告。 以下是针对该问题的具体解决方案： #### 替代方案概述 自 PyTorch 2.x 版本起，AMP 功能被进一步优化并集成到核心库中。因此，建议使用更现代的 API 来替代旧版的功能调用。具体来说，可以考虑以下方法来替换原有的 `autocast` 和 `GradScaler` 调用[^1]。 --- #### 使用 `torch.autocast_mode` 或 `torch.cuda.amp.AutocastMode` 如果当前代码中存在类似以下的写法： ```python with torch.cuda.amp.autocast(): outputs = model(inputs) ``` 则可以通过更新为以下形式消除弃用警告： ```python from torch import autocast as autocast_mode with autocast_mode.autocast(device_type='cuda', dtype=torch.float16): outputs = model(inputs) ``` 此处的关键在于显式指定设备类型 (`device_type`) 和数据类型 (`dtype`)，这使得代码更加清晰且兼容未来版本的变化[^1]。 --- #### 更新 `GradScaler` 实现 对于梯度缩放器 (Gradient Scaler)，原生写法可能类似于这样： ```python scaler = torch.cuda.amp.GradScaler() for data, target in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): output = model(data) loss = criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` 为了适配新版本中的变化，推荐调整为如下结构： ```python from torch import amp scaler = amp.GradScaler() for data, target in dataloader: optimizer.zero_grad(set_to_none=True) with amp.autocast(dtype=torch.bfloat16): # 可选 bfloat16 或 float16 output = model(data) loss = criterion(output, target) scaler.scale(loss).backward() scaler.unscale_(optimizer) # 添加 unscale_ 方法以防止梯度过大 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) # 如果需要裁剪梯度 scaler.step(optimizer) scaler.update() ``` 这里引入了 `set_to_none=True` 参数提升性能，并增加了可选项如梯度裁剪等功能支持[^1]。 --- #### 完整示例代码 下面提供了一个完整的例子展示如何正确配置最新的 AMP 设置用于训练过程： ```python import torch from torch import nn, optim, amp class SimpleModel(nn.Module): def __init__(self): super().__init__() self.fc = nn.Linear(10, 1) def forward(self, x): return self.fc(x) def train(model, device, dataloader, criterion, optimizer): scaler = amp.GradScaler() for batch_idx, (data, target) in enumerate(dataloader): data, target = data.to(device), target.to(device) optimizer.zero_grad(set_to_none=True) with amp.autocast(dtype=torch.bfloat16): output = model(data) loss = criterion(output, target) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) scaler.step(optimizer) scaler.update() if __name__ == "__main__": device = 'cuda' if torch.cuda.is_available() else 'cpu' model = SimpleModel().to(device) criterion = nn.MSELoss() optimizer = optim.AdamW(model.parameters()) dummy_data = [(torch.randn(32, 10), torch.randn(32)) for _ in range(10)] train(model, device, dummy_data, criterion, optimizer) ``` 此脚本展示了如何利用最新 API 构建高效稳定的训练流程[^1]。 ---

### 解决方案 在 YOLOv5 的训练过程中，如果遇到 `torch.cuda.amp.autocast` 被弃用的警告（即 FutureWarning），可以通过修改代码逻辑来适配新的 API。具体来说，官方建议使用 `torch.amp.autocast(device_type='cuda')` 替代旧版调用方式。 以下是详细的解决方案： #### 修改代码以消除警告 将原有的 `with torch.cuda.amp.autocast()` 改为 `with torch.amp.autocast('cuda')` 或者指定其他设备类型（如 `'cpu'`）。这种更改不会影响 AMP 功能的核心行为[^1]。 ```python import torch from torch.cuda.amp import autocast, GradScaler class MyModel(torch.nn.Module): def __init__(self, fp16=False): super(MyModel, self).__init__() self.fp16 = fp16 def forward(self, x): with autocast(enabled=self.fp16): # 使用新API替换旧API output = x * 2 return output model = MyModel(fp16=True) input_data = torch.randn(1, 3) scaler = GradScaler() # 前向传播和反向传播 with autocast(device_type='cuda'): # 新API写法 output = model(input_data) loss = torch.nn.functional.mse_loss(output, torch.ones_like(output)) optimizer.zero_grad() scaler.scale(loss).backward() scaler.unscale_(optimizer) scaler.step(optimizer) scaler.update() ``` 此代码片段展示了如何正确配置 `autocast` 上下文管理器并启用混合精度训练[^5]。 #### 报错原因分析 该问题的根本原因是 PyTorch 更新了其 API 设计，使得原方法被标记为废弃状态。未来版本可能会完全移除这些函数，因此开发者应尽早迁移至推荐的新实现路径[^2]。 另外需要注意的是，在某些情况下直接删除 `.cuda` 参数可能导致额外错误——例如当参数期望字符串而非布尔值时就会触发异常[^3]。 #### 测试环境注意事项 对于不同硬件平台上的部署兼容性考虑，请确保所使用的 PyTorch 版本支持最新特性；同时验证导出模型文件 (ONNX/TensorRT etc.) 是否正常工作无误[^4]。 --- ###