解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题

在开发的过程中，程序已经关闭，但是GPU显存无法释放，在使用pytorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？

使用pytorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行。

解决办法：

1、查看现象

nvidia-smi

2、查看进程

sudo fuser -v /dev/nvidia*

3、取出PID

sudo fuser -v /dev/nvidia*| sudo awk -F " " '{print $0}' >/tmp/pid.file

4、强制杀掉进程

while read pid ; do sudo kill -9 $pid; done </tmp/pid.file