hadoop01@hadoop01:/usr/local/hadoop/logs$ yarn --list /etc/yarn.conf /etc/yarn.yaml /home/hadoop01/.yarn.conf /home/hadoop01/.yarn.yaml hadoop01@hadoop01:/usr/local/hadoop/logs$

### 排查 Hadoop YARN 服务启动问题及配置文件优先级 #### 1. 检查 YARN 配置文件路径 Hadoop YARN 的配置文件主要存储在 `$HADOOP_CONF_DIR` 或者 `$HADOOP_HOME/etc/hadoop/` 目录下。常用的配置文件包括： - **core-site.xml**: 定义了 HDFS 默认名称节点地址。 - **yarn-site.xml**: 包含 YARN 特定的配置选项，例如 ResourceManager 地址和辅助服务定义。 - **mapred-site.xml**: MapReduce 应用程序的相关配置。 当 `start-yarn.sh` 执行后，如果 `jps` 显示缺少 ResourceManager 和 NodeManager 进程，可能是由于以下原因之一引起的[^1]。 #### 2. 处理多个配置文件路径的问题 如果运行 `yarn --list` 返回多个配置文件路径，表明存在多个可能的配置目录。此时需要明确指定使用的配置文件路径。可以通过设置环境变量 `$HADOOP_CONF_DIR` 来控制加载哪个配置文件夹下的内容。例如： ```bash export HADOOP_CONF_DIR=/path/to/config/directory ``` 此操作确保 Hadoop 使用特定的配置文件集而不是随机选择其中之一[^4]。 #### 3. 验证 YARN 组件的日志记录 对于未能正常启动的服务组件（如 ResourceManager 和 NodeManager），应该仔细阅读相应的日志文件以获取更多信息。日志通常保存在 `$HADOOP_LOG_DIR/yarn/` 下面。重点查找以下关键字： - **ResourceManager 日志**: ```plaintext java.lang.Exception: Failed to initialize Resource Manager. ``` - **NodeManager 日志**: ```plaintext org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Java heap space ``` 这些异常提示可以帮助定位具体的原因，比如内存不足、依赖库丢失或者是网络连接失败等问题[^3]。 #### 4. 确认 YARN 配置文件优先级 Hadoop 支持多种方式读取配置数据，默认情况下遵循这样的顺序解析规则： 1. 内嵌默认值； 2. 用户自定义配置文件 (e.g., `yarn-site.xml`)； 3. 命令行参数覆盖。 这意味着即使有多个同名配置项存在于不同地方，最终生效的那个取决于上述层次结构中最靠近顶端的部分[^5]。 #### 5. 测试单机模式下的 YARN 功能 为了简化调试过程，可以在本地机器上单独验证 YARN 是否能够独立工作而无需考虑整个集群的影响因素。停止现有实例后再手动触发如下指令序列： ```bash stop-dfs.sh && stop-yarn.sh rm -rf /tmp/hadoop-* # 清除临时文件以防干扰 mkdir -p ~/hadoop/tmp && chmod 777 ~/hadoop/tmp/ echo "localhost" > slaves sbin/start-dfs.sh ; sbin/start-yarn.sh ``` 这样有助于排除外部条件带来的不确定性影响。 ---