Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

最新推荐文章于 2025-06-12 20:49:40 发布

Oooover

最新推荐文章于 2025-06-12 20:49:40 发布

阅读量4.4w

点赞数 40

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： Hadoop 任务卡住

本文链接：https://blog.csdn.net/dai451954706/article/details/50464036

Hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文记录了解决Hadoop和Hive复杂查询卡住的问题，通过调整YARN的内存配置最终使问题得以解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

　　今天，一大清早同事就让我帮他解决Hive的问题：他在Hive中执行简单的查询(直接从hive查询数据，没有MR过程)能很快的得到结果，但是执行复杂的查询时，就一直卡着不动．我连到服务器上试了一下，跟他遇到的问题一样，问题处在哪里呢？既然简单的查询能出结果，复杂查询需要MR计算，但是却卡住了，那估计是Hadoop的问题．

　　于是，我在Hadoop跑一个简单的WountCound程序试试，结果跟Hive中遇到的情况一样:

然后就一直卡在这个界面，很久都没有结果．

　最先想到的是：配置可能有点问题．于是我把配置检查了一遍，发现配置没错．于是，我又去检查Yarn和HDFS的启动日志，也没有发现ERROR.接着，我查看每个任务运行时的Container日志，也没有Error．真是见鬼了！

　在我查看各种日志和配置的时候，我同事在Docker中，将集群上的配置Copy过去，试了一遍，能正常运行！这．．．

　然后，我各种百度，google，在百度出来的各种方法我都试了一遍，仍然没有解决问题！于是，我同事说，是不是安装的时候有些包损坏了．于是，他又重新装了一边Hadoop，还是使用原来的配置，可问题依旧！

　此时，都已经搞了一直整天了，还有一个小时就要下班了！于是，我在Google中看了几篇文章，基本上上面所说的方法我都试了．终于，在Stackover上有一个哥们也遇到了同样的问题，有人帮他解决了，里面链接到了一个网站:http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/ ,我打开一看，说的是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行，感觉是这个问题的可能性不大啊！但是，既然这么多方法都不管用，这能试一试了．　

　　于是，我在yarn-site.xml中加了:

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

再次运行，居然成功了！

　然后运行Hive，也能正确的运行了！

出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。特此备忘！