在Linux环境中，遇到系统盘空间显示被大量占用但实际使用不匹配的问题。经过排查，发现是已删除文件仍被进程占用，通过`lsof|grep deleted`命令找到相关进程并结束，成功释放了系统盘空间。问题源于数据盘挂载错误及服务配置不当，最终通过清理被占用的删除文件解决问题。
问题描述
在Linux中使用df -hT命令查看硬盘占用情况 ，系统盘显示占用92%， 但是使用du -h --max-depth=1 查看/目录实际占用情况 并没有全部占用
重上面两个图可以看出系统盘实际使用才36G，多出来51G被谁偷走了呢？
问题出现过程
1.我在阿里云的ecs上安装了cdh，在根目录下面创建了一个data目录，然后挂载了一个数据盘
2.不知道什么时候数据盘掉了，导致hadoop和kafka的数据写到了系统盘中，但是还是在data目录下
3.我没有删除系统盘data目录下的数据，直接将数据盘挂载到了data目录下，一段时间以后发现系统盘不够用了，这里就出现了问题描述的现象
4.因为之前的骚操作，我怀疑是data目录导致的系统盘被占用原因，于是我停止了服务，卸载了数据盘，发现数据果然是data目录占用，于是我删除了data目录下系统盘的数据，问题解决
5.神奇的情况出现，过了一段时间，描述的问题又出现了，系统盘又被占用了，好像之前删除的数据又回来了，于是我怀疑是hdfs的又把数据恢复回来了，于是我有卸载了数据盘，但是这个时候发现data目录下并没有数据
6.我迷茫了，不知道啥情况了，咨询了大佬，最后还是在小度上找到了解决方案，说是可能删除的数据被某些进程占用导致数据没有正真删除
解决方案
使用命令： lsof | grep delete 查看已删除的文件是否被占用，无法正确删除，如果被占用，确定到该进程的pid ，将该进程结束即可
lsof | grep delete
node 28796 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28797 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28798 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28799 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28800 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28801 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28802 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28803 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28804 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28805 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
node 28796 28806 root 20w REG 253,1 55374224037 1713408 /root/.pm2/logs/shengekejifront-out.log (deleted)
aliyun-se 31813 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 343 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 15593 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 27414 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 31814 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 31815 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 31816 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 31817 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 31824 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 31825 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 31826 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 31827 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 32336 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 32337 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
aliyun-se 31813 32338 root 7uW REG 253,1 0 1179662 /tmp/AliyunAssistClientSingleLock.lock (deleted)
查询到上面这些奇怪的进程
结束这些进程
kill -9 32338
kill -9 28806
系统盘恢复正常
参考
https://my.oschina.net/jutao/blog/2873427
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
