Yarn AppMaste调试

hfcloudeagle

于 2014-03-23 17:00:00 发布

阅读量224

点赞数

文章标签：大数据

本文详细介绍了如何在Hadoop2Yarn环境下为MapReduce应用程序的AM（Application Master）配置命令选项，以实现Xdebug和JDWP的远程调试功能。通过在mapred-site.xml中设置yarn.app.mapreduce.am.command-opts属性，可以指定启动参数，如内存限制、调试模式等。实验证明，在指定路径下监听远程调试请求，成功实现了对MapReduce任务的远程调试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一般都是这种形式，YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y "

但是MRMaster不知道加在哪里，查看了封神的博客后，恍然大悟，

http://fengshenwu.com/blog/tag/hadoop2yarn/

AM需要在配置文件mapred-site.xml配置：

<property>
  <name>yarn.app.mapreduce.am.command-opts</name>
  <value>-Xmx1000m -Xdebug -Xrunjdwp:transport=dt_socket,address=5555,server=y,suspend=n</value>
</property>

加上后，查看:

[liuqiang@localhost container_1395565534919_0001_01_000001]$ pwd
/home/liuqiang/hadoop-2.2.0/logs/userlogs/application_1395565534919_0001/container_1395565534919_0001_01_000001
[liuqiang@localhost container_1395565534919_0001_01_000001]$ cat stdout
Listening for transport dt_socket at address: 8792