Dataloader异常卡死或报错

AI智力2岁半

已于 2022-04-21 16:50:35 修改

阅读量4.5k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：人工智能-神经网络算法文章标签：神经网络 Dataloader pytorch num_workers

于 2022-04-21 09:20:00 首次发布

本文链接：https://blog.csdn.net/Ryanpinwei/article/details/124312594

人工智能-神经网络算法专栏收录该内容

7 篇文章

订阅专栏

本文探讨了使用PyTorch训练时遇到的问题，当num_workers大于0时，数据加载卡顿。经排查发现，OpenCV的多线程与Python引发冲突。解决方案是通过设置OpenCV线程数为0。作者分享了这个技术难题的解决办法，有助于提高训练效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述:

使用pytorch训练网络加载数据当num_workers>0时，训练一轮并验证后，训练第二轮时卡在for循环那里取不到数据。num_worders=0就没有问题。但效率慢。
pytorch 1.7.1 不报任何错误
pytorch 1.11.0 会报DataLoader worker (pid 22479) is killed by signal: Segmentation fault.
如果在pytorch 1.7.1追踪代码，发现卡在python3.7/site-packages/torch/utils/data/_utils/worker.py中的198行data = fetcher.fetch(index)

之前用mxnet的时候也出现过训练到一半的时候突然就卡在那个地方不报错也不退出。就是显卡使用率0%，不知道是不是同样的问题。
这个问题困扰了好久，因为用num_workers=0就没有问题，所以一直没有解决。