CUDA error: invalid device ordinal

### 关于Centernet 运行时 CUDA 错误解决方案 当遇到 `RuntimeError: CUDA error: invalid device ordinal` 的问题时，这通常意味着程序尝试访问不存在或未正确初始化的 GPU 设备。此错误可能由多种因素引起。 #### 可能原因分析 1. **环境配置不匹配** 如果使用的 PyTorch 或其他依赖库版本与安装的 CUDA 版本不符，则可能导致此类错误。确保所有组件之间的兼容性至关重要[^1]。 2. **GPU资源不可用** 当系统中有多个 GPU 且指定设备序号超出范围时会触发该异常。例如，在只有单个 GPU (device id = 0) 的情况下设置 `cuda:1` 将引发上述错误消息。 3. **CUDA可见设备设置不当** 若通过环境变量设置了 `CUDA_VISIBLE_DEVICES` 来限制可用显卡列表，但后续代码逻辑仍试图引用被屏蔽掉的设备编号，同样会造成这个问题。 #### 解决方法建议 为了有效处理这个特定类型的 CUDA 错误： - 验证当前环境中已加载并激活了正确的 conda 虚拟环境以及确认所选框架（如PyTorch）确实支持目标硬件平台上的 CUDA 功能。 - 使用如下命令检查是否有任何正在占用所需 GPU 的进程，并考虑终止不必要的任务来释放资源： ```bash nvidia-smi ``` - 修改源码中的默认 GPU ID 设置，默认通常是第零张卡 (`cuda:0`)；如果存在多张显卡，请依据实际情况调整至有效的索引位置上。 - 对于分布式训练场景下可能出现的问题，可以尝试重置全局随机种子以保持一致性的同时减少潜在冲突的可能性。 - 清理缓存数据结构体内的残留状态信息，防止因历史遗留而导致的新一轮计算过程中出现问题。 ```python import torch torch.cuda.empty_cache() ``` 最后值得注意的是，对于某些特殊架构下的模型部署工作而言，还需额外关注驱动程序更新情况及其对现有软件栈的影响程度。