torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 3.94 GiB. GPU 0 has a total capacity of 11.00 GiB of which 0 bytes is free. Of the allocated memory 36.01 GiB is allocated by PyTorch, and 3.95 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorchtorch.OutOfMemoryError: CUDA out of memory. Tried to allocate 3.94 GiB. GPU 0 has a total capacity of 11.00 GiB of which 0 bytes is free. Of the allocated memory 36.01 GiB is allocated by PyTorch, and 3.95 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables).org/docs/stable/notes/cuda.html#environment-variables)

<think>嗯，我现在遇到了PyTorch的CUDA内存不足错误，得想办法解决。首先，错误信息说“Tried to allocate 704.00 MiB”，而总共有16 GiB的GPU显存，已经分配了13.55 GiB，剩下的却显示0字节。这说明虽然总容量足够，但内存碎片可能导致了问题。用户提到没有其他进程在用GPU，所以应该是当前PyTorch进程本身的问题。 根据引用[1]和[2]，建议设置max_split_size_mb来减少内存碎片。PyTorch的内存分配器在分配不同大小的块时可能会产生碎片，尤其是当有大块和小块交替分配的时候。设置max_split_size_mb可以限制分配器分割内存块的大小，减少碎片。不过具体该设置为多少呢？可能需要尝试不同的值，比如256或512，根据具体情况调整。 另外，引用[3]提到监控GPU内存使用情况，用nvidia-smi或者PyTorch内置的函数。我应该先检查当前的内存使用情况，确认是否有异常的内存占用。比如，用torch.cuda.memory_allocated()查看已分配的内存，memory_reserved()查看保留的内存。如果保留的内存远大于已分配的，说明存在碎片问题，这时候设置max_split_size_mb可能会有帮助。 然后，考虑减少批量大小。如果模型在训练时批量太大，显存不够，自然会报错。所以逐步减小batch_size，直到不再出现错误。但这样可能会影响训练速度，需要在速度和内存之间做权衡。 释放不必要的缓存也是一个方法。PyTorch会缓存一些内存以加速后续分配，但有时候手动释放这些缓存可以腾出空间。使用torch.cuda.empty_cache()，但要注意这可能会影响性能，因为之后的内存分配需要重新申请。 检查是否有内存泄漏的问题。比如，在训练循环中，张量是否被正确地释放，尤其是那些在循环中创建的临时张量。可能有一些中间变量没有被及时回收，导致内存逐渐被占满。另外，使用detach()和cpu()及时将不需要的变量移到CPU，也可以释放GPU内存。 混合精度训练也是一个选项，使用torch.cuda.amp进行自动混合精度，可以减少显存的使用，同时还能加速训练。不过需要确保模型和操作支持混合精度，避免出现数值不稳定。 模型优化方面，可以考虑使用梯度检查点（checkpointing），这样在反向传播时重新计算中间激活值，而不是保存它们，从而节省显存。但这样会增加计算时间，需要权衡。此外，使用更小的模型或者精简模型结构，比如减少层数或通道数，也能有效降低内存消耗。 数据加载方面，确保DataLoader的num_workers设置合理，避免过多的进程占用内存。另外，使用pin_memory=True可能会增加主机内存的使用，如果不必要的话可以关闭。 如果这些方法都不奏效，可能需要升级硬件，比如换更大显存的GPU，或者使用多卡训练，通过数据并行分散负载。但硬件升级可能不是每个人都可行，所以前面的软件优化方法更实际。 总结一下，步骤应该是：首先监控显存使用情况，确认碎片问题；然后尝试设置max_split_size_mb；调整批量大小；释放缓存；检查内存泄漏；使用混合精度和梯度检查点；优化模型结构。最后，考虑硬件升级或多卡训练。</think>### PyTorch CUDA内存不足问题的解决方法 #### 1. 监控内存使用 - 使用`nvidia-smi`命令实时查看GPU显存占用情况。 - 在PyTorch中通过以下函数获取详细内存信息： ```python print(f"已分配内存: {torch.cuda.memory_allocated() / 1024**3:.2f} GiB") print(f"保留内存: {torch.cuda.memory_reserved() / 1024**3:.2f} GiB") ``` 如果保留内存显著大于已分配内存（例如引用[1]中16 GiB显存显示保留14.89 GiB），说明存在内存碎片[^3]。 #### 2. 设置`max_split_size_mb`减少碎片 在代码开头或环境变量中添加配置： ```python import os os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "max_split_size_mb:256" # 实验性调整 ``` 此参数限制内存块分裂的最大尺寸，可尝试256、512等值平衡碎片与性能[^1][^2]。 #### 3. 减少批量大小 逐步降低`batch_size`，例如从32调整到16： ```python train_loader = DataLoader(dataset, batch_size=16, shuffle=True) ``` #### 4. 释放缓存和优化内存占用 - 手动清空缓存： ```python torch.cuda.empty_cache() ``` - 及时释放无用张量： ```python del tensor # 删除中间变量 torch.cuda.empty_cache() ``` - 将中间结果移至CPU： ```python tensor = tensor.detach().cpu() # 反向传播后释放GPU内存 ``` #### 5. 使用混合精度训练 通过`torch.cuda.amp`减少显存占用： ```python scaler = torch.cuda.amp.GradScaler() with torch.autocast(device_type='cuda', dtype=torch.float16): outputs = model(inputs) loss = loss_fn(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` #### 6. 梯度检查点技术 对大型模型使用`torch.utils.checkpoint`： ```python from torch.utils.checkpoint import checkpoint def forward_with_checkpoint(x): return checkpoint(model_block, x) # 分段保存计算图 ``` #### 7. 模型优化 - 精简模型结构（如减少层数、通道数）。 - 替换大参数操作（如全连接层改为1x1卷积）。 - 使用分布式训练（如`DataParallel`或`DistributedDataParallel`）： ```python model = torch.nn.DataParallel(model) ``` #### 8. 数据加载优化 关闭不必要的`pin_memory`： ```python train_loader = DataLoader(dataset, pin_memory=False) ``` #### 9. 环境检查 确认无隐藏进程占用GPU： ```bash nvidia-smi # 检查是否有其他Python进程残留 kill -9 <PID> # 强制终止残留进程 ```