解决报错CUDA error：out of memory。CUDA kernel errors might be asynchronously reported at some other API

已于 2023-03-29 10:39:20 修改
阅读量6.2k 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 代码 文章标签： linux 服务器
于 2023-03-29 10:38:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51426525/article/details/129831917
在服务器上运行程序时遇到了CUDAerror:outofmemory的错误，原因是程序B占用了目标显卡的显存，导致程序A无法正常运行。解决此问题的方法是先停止程序B，然后重新运行程序A，这样可以确保显存充足，使程序A能顺利执行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在服务器上运行程序，遇到报错：CUDA error：out of memory。CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.

报错原因： 我在另一个显卡的程序B占用了目前显卡的显存，导致运行程序A显存不够。

解决方法：停止程序B后，再次运行程序A，就可以正常运行。

RuntimeError: CUDA error: out of memoryCUDA kernel errors might be asynchronously reported at some
Yao_Wan的博客
09-17 1683
可是我明明前几天刚用过啊，啥也没改就突然报错了，怎么想也不可能是机器突然显存不行了吧。而且我喵喵的就是用的学校该死的服务器！就是在文件里加入“torch.backends.cudnn.enabled=False”这行代码。这个指令其实加到哪里都行，主要是关闭cudnn加速的。找到了解决办法，我哭了家人们，太搞我心态了。下图就是历经千辛万苦我终于能运行了。不过我感觉关了也没感觉怎么慢。突然有一次运行就出现这个错误。反正我加到了下图这个位置。搜了半天，看到有个大佬。
PyTorch报错RuntimeError: CUDA error: out of memory的显存优化
最新发布
shejizuopin的博客
05-28 933
本文系统介绍了PyTorch中常见CUDA显存不足问题的解决方案。文章首先分析了显存溢出的四大原因：批量过大、模型复杂、显存碎片化及数据类型不当。随后提出包含8种具体措施的优化矩阵，涵盖基础策略（批量调整、梯度累积）、模型优化（剪枝量化、轻量模型）、高级管理（混合精度、显存监控）和数据优化（DataLoader配置、输入尺寸调整）。每种方法均附代码示例和性能对比数据，如混合精度训练可节省50%显存并提升速度10-20%。最后提供验证流程和常见问题解答，建议优化路径为：先调批量/梯度累积，再考虑模型轻量化，最
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below m
qq_35037684的博客
11-07 7811
ps -ef | grep occ | cut -c 9-15 | xargs kill -9 #一次删除所有带python的进程。运行ps命令查看自己的进程情况及gpu占用情况，kill -9 PID, 可以杀死对应的PID进程。问题及解决：CUDA在其他地方有被占用的情况，先关闭其他程序中的cuda占用，再执行。
【debug】mmseg工程训练报错：CUDA kernel errors might be asynchronously reported at some other API call ...
热门推荐
向上生长的程序媛的博客
06-05 4万+
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect报错解决。
RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously reported at some
weixin_54186806的博客
11-24 1770
fuser -v /dev/nvidia*查看进程，使用kill -9 <进程号>或者直接把所有运行的程序关闭，然后再重新打开，就可以进行训练了。
【故障诊断】CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace b
Michael_Cretu_的博客
06-19 1万+
/pytorch/aten/src/ATen/native/cuda/Loss.cu:115: operator(): block: [0,0,0], thread: [0,0,0] Assertion `input_val >= zero && input_val
RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUN
03-13
### 解决CUDA out of Memory错误的方法 在深度学习任务中，`RuntimeError: CUDA out of memory` 是一种常见的错误。以下是几种可能的原因及其对应的解决方案： #### 1. **模型或批量数据过大** 当模型参数过多或者...
RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
03-08
当遇到 `RuntimeError: CUDA error: out of memory` 错误时，这通常意味着 GPU 显存不足以支持当前的任务需求。为了有效处理这一问题并确保程序稳定运行，可以采取多种策略。 #### 调试方法 传递环境变量 `CUDA_...
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below m...
weixin_42576467的博客
12-28 1万+
CUDA内核错误可能会在其他API调用时异步报告，因此下面的堆栈跟踪可能是不正确的。为了调试，考虑传递CUDA_LAUNCH_BLOCKING=1。 这个错误提示告诉你，你在使用CUDA进行计算的时候可能会出现内核错误，并且这些错误可能在其他API调用时被异步报告。为了调试这个问题，你可以考虑将CUDA_LAUNCH_BLOCKING设置为1。这将使CUDA内核在调用时同步执行，并使你可以获得更准...
CUDA kernel errors might be asynchronously reported at some other API call 错误解决
qq_41018465的博客
01-12 2万+
pytorch的深度学习项目报错
【Python报错】已解决CUDA kernel errors might be asynchronously reported at some other API call ...
qq_38614074的博客
06-06 5138
与常规的CPU程序错误不同，CUDA kernel错误可能不会立即在出错的地方被捕获，而是可能异步地报告在后续的其他CUDA API调用时。：CUDA采用异步执行模型，即CUDA kernel的调用是异步的，也就是说，当CUDA kernel被调用时，控制权会立即返回给CPU，而GPU上的计算则在后台并行进行。当调用一个CUDA API时，如果该操作涉及到了GPU上的计算，并且之前某个操作已经发生了错误（尽管那个错误当时没有被报告），那么当前的操作也会立即返回一个错误码。等）时才会被CPU捕获。
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below
qq_43058281的博客
11-29 1059
【代码】CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below。
【解决方案】CUDA kernel errors might be asynchronously reported at some other API call
m0_73367097的博客
04-29 1589
CUDA kernel errors might be asynchronously reported at some other API call
mmsegmentation CUDA kernel errors might be asynchronously reported at some other API call
qq_23968017的博客
03-26 876
mmsegmentation 不同网络adk20数据集改用VOC数据集时，出现错误： correct = correct[:, target != ignore_index] RuntimeError: CUDA error: an illegal memory access was encountered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below m
CUDA kernel errors might be asynchronously reported at some other API call
good18Levin的博客
05-06 2万+
1. 报错 程序运行运行着，就报了以下错误： 2 原因 正在使用的是“cuda:7", 1号机的第7号显卡被拿走了，或者第7号显卡机械位置松动了 3 解决方案 查看目前pytorch可读的显卡有几块（这时候使用nvidia-smi命令同样报错），假设为n， 然后【0，n-1】这些序号的显卡都可以使用： 显卡默认是从0号开始计数的： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值