本文讨论了HDFS中Non DFS Used过大导致的问题，这减少了HDFS的可用磁盘空间。Non DFS Used代表非HDFS文件占用的空间。问题可能由historyserver进程未释放文件句柄引起。解决方法包括重启datanode服务、HDFS服务或JobHistory服务。还提供了用于排查问题的命令和Non DFS Used的计算方法，并提到了磁盘系统的预留空间计算。
问题描述：
在namenode页面发现，好多主机的Non DFS Used使用非常大，大大减少了HDFS磁盘剩余可用容量，存在异常
通常，Non DFS Used = 配置的容量 - 剩余容量 - DFS使用容量
而配置容量 = 总容量 - 预留空间（总容量为磁盘的总大小，预留空间为默认的5%）
所以，Non DFS used=（总容量-预留空间）- 剩余容量 - DFS使用容量
也可以通俗的说，"Non DFS used" 就是代表"配置的dfs空间有多少空间是被非hdfs文件占用了的"
造成Non DFS Used使用过大，可能产生的原因是：
因为集群里启动了historyserver,这个进程在删除了临时文件之后,并没有释放文件句柄,所以导致Non DFS Used 数值很大,而用df和du查看的时候,磁盘空间并未被占用。这个与版本也有一定的关系，在后期的新版本中，这个问题就比较少。
解决方法：
方法一：重启存在问题节点上的datanode服务
方法二：重启整个HDFS服务
方法三：重启JobHistory服务
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
