Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when checking argument for argument weight in method wrapper_CUDA_nll_loss_forward)

### 解决 PyTorch 中 Tensor 设备不一致导致的 NLL_Loss 错误问题 在 PyTorch 中，当尝试计算两个位于不同设备上的张量之间的损失函数（如 `F.nll_loss`），会抛出运行时错误。这是因为 PyTorch 不允许直接对处于不同设备上的张量进行操作[^1]。 #### 问题分析 错误的核心在于参与运算的张量未被放置在同一设备上。例如，模型输出可能位于 GPU (`cuda:0`) 上，而标签张量仍留在 CPU 上。这种情况下，调用 `F.nll_loss(output, labels)` 将触发如下异常： ```plaintext RuntimeError: multi-target not supported at /pytorch/aten/src/THCUNN/generic/ClassNLLCriterion.cu:16 ``` 此错误的根本原因是输入张量和目标张量之间存在设备差异或数据类型的不匹配[^3]。 #### 解决方案 以下是几种常见的解决方案，确保所有涉及的操作数均位于同一设备上： ##### 1. **统一设备** 将所有相关张量显式移动到相同的设备（通常是 GPU）。可以通过 `.to(device)` 方法实现这一目的： ```python import torch import torch.nn.functional as F # 假设 output 已经位于 GPU 上 output = torch.randn(3, 5).to('cuda') # 示例输出张量 labels = torch.randint(5, (3,), dtype=torch.long) # 示例标签张量 # 确保 labels 移动到与 output 相同的设备 if output.device != labels.device: labels = labels.to(output.device) loss = F.nll_loss(output, labels) print(loss.item()) ``` 通过上述代码，无论原始 `labels` 张量位于哪个设备上，都会将其迁移到与 `output` 对应的位置，从而避免设备冲突。 ##### 2. **检查数据类型一致性** 除了设备之外，还需要确认张量的数据类型是否兼容。对于 `F.nll_loss` 函数而言，输入张量应当为浮点型（如 `float32`, `double`），而目标张量则需为整数类型（如 `long` 或 `int`). 若发现类型不符，可利用 `.type()` 或 `.to(dtype)` 进行转换[^3]: ```python # 确认 input 和 target 的数据类型正确无误 if output.dtype != torch.float32: output = output.type(torch.float32) if labels.dtype != torch.int64: labels = labels.type(torch.int64) loss = F.nll_loss(output, labels) ``` ##### 3. **调试工具辅助排查** 为了更方便地定位问题所在，建议启用 PyTorch 提供的一些调试功能。比如设置打印选项以便清晰观察数值变化过程[^2]: ```python torch.set_printoptions(sci_mode=False) X = torch.tensor([0.1234, 75535]) print(X, X.dtype) # tensor([ 0.1234, 75535.0000]) torch.float32 print(X.to(torch.float16)) # tensor([0.1234, inf], dtype=torch.float16) print(X.to(torch.bfloat16)) # tensor([ 0.1235, 75776.0000], dtype=torch.bfloat16) ``` 借助此类调试手段可以帮助开发者快速识别潜在隐患，进而采取适当措施加以修正。 --- ###