GPU显存未释放问题

控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？

使用PyTorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下：

1. 查看GPU上运行的所有程序

fuser -v /dev/nvidia*

2. 查看具体这个进程调用GPU的情况

pmap -d PID号  #例如：pmap -d 1960

3. kill掉僵尸进程

kill -9 PID号 #例如 kill -9 1960

或者知道进程名可以杀死所有进程

killall -9 进程名