hadoop错误org.apache.hadoop.mapred.TaskAttemptListenerImpl Progress of TaskAttempt

最新推荐文章于 2021-11-25 22:20:57 发布

dengdun2029

最新推荐文章于 2021-11-25 22:20:57 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java

原文链接：http://www.cnblogs.com/codeOfLife/p/5940630.html

本文详细解析了Hadoop集群中出现磁盘空间不足错误的案例，揭示了实际磁盘使用率与任务运行时占用空间之间的差异。通过实例说明了在任务执行过程中监控的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误：

org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt

原因：

错误很明显，磁盘空间不足，但郁闷的是，进各节点查看，磁盘空间使用不到40%，还有很多空间。

郁闷很长时间才发现，原来有个map任务运行时输出比较多，运行出错前，硬盘空间一路飙升，直到100%不够时报错。随后任务执行失败，释放空间，把任务分配给其它节点。正因为空间被释放，因此虽然报空间不足的错误，但查看当时磁盘还有很多剩余空间。

这个问题告诉我们，运行过程中的监控很重要。

如果，您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】。
如果，您希望更容易地发现我的新博客，不妨点击一下左下角的【关注我】。
如果，您对我的博客所讲述的内容有兴趣，请继续关注我的后续博客，我是【刘超★ljc】。

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

转载于:https://www.cnblogs.com/codeOfLife/p/5940630.html

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。