本文分析了PyTorch中GPU利用率低下的原因，包括GPU内存占用率和GPU利用率问题，并提供了解决方案。问题在于模型大小、batch size设置、数据加载线程数（num_workers）及pin_memory的使用。作者发现自己训练过程中的主要慢速原因是频繁的文件IO操作。总结的提速技巧包括增加batch size、优化数据加载线程、启用pin_memory、减少日志IO频率和考虑使用半精度训练。
1.PyTorchGPU利用率较低问题原因：
在服务器端或者本地pc端，
输入nvidia-smi
来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）
1.1 GPU内存占用率问题
这是由于模型的大小以及batch size的大小，来影响这个指标。
- GPU的内存占用率主要是模型的大小，包括网络的宽度，深度，参数量，中间每一层的缓存，都会在内存中开辟空间来进行保存，所以模型本身会占用很大一部分内存。
- 其次是batch size的大小，也会占用影响内存占用率。batch size设置为128，与设置为256相比，内存占用率是接近于2倍关系。当你batch size设置为128，占用率为40%的话，设置为256时，此时模型的占用率约等于80%所以在模型结构固定的情况下，尽量将batch size设置大，充分利用GPU的内存。
1.2 GPU利用率问题
这个是Volatile GPU-Util表示，当没有设置好CPU的线程数时，这个参数是在反复的跳动的，这样停息1-2 秒然后又重复起来。其实是GPU在等待数据从CPU传输过
订阅专栏 解锁全文
扫一扫
1635
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
