hive join操作踩坑记-报错信息FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr...

企鹅在云上

于 2020-06-26 12:24:20 发布

阅读量3k

点赞数

CC 4.0 BY-SA版权

分类专栏：踩坑系列文章标签： hadoop hive hdfs spark 大数据

本文链接：https://blog.csdn.net/weixin_44528131/article/details/106968309

本文记录了一次在使用Hive进行JOIN操作时遇到的问题，执行时间突然增加并出现错误：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。通过检查发现是由于HDFS存储空间不足，导致reduce任务失败。错误排查过程包括查询HDFS剩余空间及找出占用空间大的文件，最终定位问题在于/user/hadoop/.Trash目录，清理后JOIN操作恢复正常。" 110914678,10417370,Python3 列表初始化详解,"['Python编程', '数据结构', '数组操作']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#Hive join操作踩坑记

事件经过

使用hive join操作时，肉眼可见同样的操作用时越来越长，同样的操作用时从一百多秒直接飙升到三四百秒，并且有时运行时汇报出错误信息 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)。通过jobhistoryserver的记录显示一些reduce task运行失败了，报错信息为There are 2 datanode(s) running and no node(s) are excluded in this operation。通过搜索得知可能是由于hdfs存储空间不足导致

报错信息

（1）hive报错信息
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)

（2）jobhistoryserver报错信息
There are 2 datanode(s) running and no node(s) are excluded in this operation.