hadoop学习(六)--------eclipse远程调试

self-motivation

于 2015-04-26 17:13:38 发布

阅读量5.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： hadoop spark 大数据分布式 eclipse 调试源代码

本文链接：https://blog.csdn.net/happyAnger6/article/details/45289271

大数据专栏收录该内容

22 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Eclipse进行Hadoop的远程调试，包括理解JAVA远程调试原理，分析Hadoop的start-dfs.sh脚本，设置HDFS的调试参数，以及在Eclipse中创建并配置远程Java应用程序进行调试。通过此方法，可以在不修改源代码的情况下，便捷地对Hadoop的执行过程进行断点跟踪。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上一节我们已经成功编译了hadoop源码，这样我们就可以根据需要在源代码里增加调试信息，跟踪hadoop的执行。这种方式需要对跟踪的对应模块代码进行修改，还要重新编译jar包，并替换share/hadoop目录下对应的jar包，然后重新启动要调试的hadoop服务才行，比较麻烦。所以我学习了一下如何用eclipse远程调试，这样就可以设置断点，十分方便。

1.关于JAVA远程调试的原理和设置，下面这篇文章讲解十分详细，可以先了解下：

http://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/

2.hadoop2.6.0版本主要是

sbin/start-dfs.sh

sbin/start-yarn.sh这两个脚本。

简单了解一下这两个脚本的工作,下面以start-dfs.sh为例:

下面只列出关键代码：

DEFAULT_LIBEXEC_DIR="$bin"/../libexec
HADOOP_LIBEXEC_DIR=${HADOOP_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR}
. $HADOOP_LIBEXEC_DIR/hdfs-config.sh //执行libexec/hdfs-config.sh脚本设置CLASSPATH,JAVA_OPTS等变量