[root@hadoop01 ~]# start-dfs.sh Starting namenodes on [hadoop01] hadoop01: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Starting datanodes hadoop03: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). hadoop01: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). hadoop02: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Starting secondary namenodes [hadoop0i] hadoop0i: ssh: Could not resolve hostname hadoop0i: Name or service not known 2025-03-14 08:18:36,316 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [root@hadoop01 ~]# jps 95328 Jps 2282 ResourceManager以上是什么问题

<think>好的，我现在需要帮助用户解决他们在启动Hadoop的HDFS时遇到的问题。用户提供了执行start-dfs.sh后的错误日志，以及jps的输出。我需要分析这些错误信息，找出可能的原因，并提供解决方案。 首先，用户遇到的错误信息主要是“Permission denied (publickey,...)”以及主机名解析问题。看起来涉及SSH免密登录失败和主机名配置错误。 让我先分解问题： 1. **Permission Denied错误**：在启动namenode和datanode时，多个节点（hadoop01, hadoop02, hadoop03）出现权限拒绝，提示公钥认证失败，可能SSH配置有问题。用户之前可能已经设置了SSH免密登录，但似乎没有生效。 2. **Secondary namenode启动失败**：错误提示无法解析主机名“hadoop0i”，这可能是一个拼写错误，正确的主机名可能是hadoop01或者其他正确的主机名。 3. **JPS输出显示只有ResourceManager和Jps**：说明HDFS的相关进程（如NameNode、DataNode、SecondaryNameNode）没有成功启动，可能因为前面的SSH问题导致无法在其他节点启动服务。 接下来需要详细分析每个问题。 首先，关于SSH的Permission Denied错误。之前用户曾遇到SSH需要输入密码的问题，现在虽然可能已经配置了免密登录，但可能配置不正确，或者权限问题仍然存在。需要检查以下几点： - 各个节点之间的SSH免密登录是否配置正确，包括公钥是否正确分发到authorized_keys文件。 - 文件权限是否正确，如.ssh目录权限是否为700，authorized_keys是否为600。 - 是否所有节点都正确安装了SSH服务，并且sshd_config配置允许公钥认证。 其次，主机名解析问题。错误中的“hadoop0i”可能是拼写错误，正确的主机名应该是hadoop01或者其他名称。需要检查Hadoop的配置文件（如workers文件或slaves文件）中的主机名是否正确，确保没有拼写错误。同时，检查/etc/hosts文件或DNS配置，确保所有节点的主机名都能正确解析。 然后，JPS输出显示缺少HDFS进程，这是因为start-dfs.sh脚本未能成功启动这些进程。根本原因还是SSH连接失败，导致主节点无法连接到其他节点启动服务。此外，secondary namenode的启动失败也可能是因为主机名错误，导致无法连接到指定的节点。 可能的解决方案步骤包括： 1. **修复SSH免密登录问题**： - 检查所有相关节点之间的SSH配置，确保每个节点都能无需密码登录到其他节点。 - 使用ssh-copy-id命令重新分发公钥。 - 验证文件权限是否正确。 - 检查sshd_config配置，确保允许公钥认证。 2. **纠正主机名拼写错误**： - 检查Hadoop的配置文件（如workers文件）中secondary namenode的主机名是否为hadoop0i，如果是拼写错误，修改为正确的主机名，比如hadoop01。 - 检查所有节点的主机名配置，确保/etc/hosts文件包含所有集群节点的正确IP和主机名映射。 3. **验证Hadoop配置**： - 检查core-site.xml、hdfs-site.xml等配置文件，确保名称节点和数据节点的配置正确。 - 确保所有节点的Hadoop安装路径一致，环境变量配置正确。 4. **检查防火墙和SELinux**： - 确认防火墙没有阻止SSH端口（22）和Hadoop相关端口。 - 临时关闭SELinux或设置为permissive模式，以排除其干扰。 5. **重新启动HDFS服务**： - 修复上述问题后，重新运行start-dfs.sh，观察是否还有错误。 - 使用jps检查各个节点上的进程是否正常启动。 此外，用户提供的jps输出显示只有ResourceManager和Jps，说明YARN的ResourceManager已经启动，但HDFS的相关进程没有启动，这进一步支持了问题出在SSH和主机名配置上。 可能的注意事项： - 用户可能在配置Hadoop集群时，workers文件中包含了hadoop01, hadoop02, hadoop03，但某个节点的主机名配置不正确，或者SSH配置错误。 - Secondary namenode的配置错误可能导致整个HDFS启动失败，需要特别检查该配置项。 - 需要确保所有节点的时间同步，否则可能会导致某些服务无法启动。 总结，解决步骤应首先处理SSH免密登录问题，然后纠正主机名配置错误，最后验证Hadoop的配置和启动情况。同时，检查日志文件（如/var/log/secure和Hadoop的日志）可以帮助更准确地定位问题。</think>--- ### **问题分析** 执行 `start-dfs.sh` 时出现的错误可分为三类： 1. **SSH免密登录失败** - 所有节点均报错 `Permission denied (publickey...)`，表明 **SSH公钥认证未生效** 2. **主机名解析错误** - 启动Secondary NameNode时出现 `Could not resolve hostname hadoop0i`，存在 **主机名拼写错误** 3. **HDFS进程未启动** - `jps` 输出中缺少 `NameNode` 和 `DataNode` 进程，说明HDFS未成功启动 --- ### **逐步解决方案** #### **1. 修复SSH免密登录问题** **核心原因** 集群节点间未正确配置SSH免密登录，导致主节点无法通过密钥认证远程启动服务。 **操作步骤** - **(1) 检查所有节点的SSH配置** 在 **每个节点** 上执行： ```bash # 检查公钥是否已分发到所有节点（包括自身） ssh-copy-id root@hadoop01 ssh-copy-id root@hadoop02 ssh-copy-id root@hadoop03 # 验证免密登录是否生效 ssh root@hadoop01 "hostname" # 应直接返回 hadoop01，无需密码 ssh root@hadoop02 "hostname" ssh root@hadoop03 "hostname" ``` - **(2) 检查文件权限（关键！）** ```bash # 在所有节点上执行 chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys chmod 600 ~/.ssh/id_rsa ``` - **(3) 检查SSH服务配置** 在所有节点的 `/etc/ssh/sshd_config` 中确保以下配置： ```ini PubkeyAuthentication yes PasswordAuthentication no # 调试阶段可暂设为 yes ``` 重启SSH服务： ```bash systemctl restart sshd ``` --- #### **2. 修正主机名拼写错误** **错误定位** Secondary NameNode 的启动目标为 `hadoop0i`（末尾字母 `i`），但实际应为数字 `1`（即 `hadoop01`）。 **操作步骤** - **(1) 修改Hadoop配置文件** 检查以下文件中的主机名配置： ```bash # 文件位置：$HADOOP_HOME/etc/hadoop/hdfs-site.xml <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop01:9868</value> # 确保此处为正确主机名 </property> ``` - **(2) 检查集群主机名映射** 在所有节点的 `/etc/hosts` 中确保包含： ```plaintext 192.168.x.x hadoop01 192.168.x.x hadoop02 192.168.x.x hadoop03 ``` --- #### **3. 验证HDFS启动环境** - **(1) 检查Hadoop配置文件** 确保以下核心配置正确（文件位置：`$HADOOP_HOME/etc/hadoop/`）： - **core-site.xml** ```xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> # 指向NameNode地址 </property> ``` - **workers文件** ```plaintext hadoop01 hadoop02 hadoop03 ``` - **(2) 清理临时文件并重新格式化HDFS** ```bash # 停止所有Hadoop进程 stop-dfs.sh # 删除临时数据（所有节点） rm -rf /tmp/hadoop-root/* # 根据实际路径调整 # 重新格式化NameNode（仅在主节点执行） hdfs namenode -format ``` - **(3) 启动HDFS并验证** ```bash start-dfs.sh jps # 应显示 NameNode、DataNode、SecondaryNameNode ``` --- ### **补充排查技巧** 1. **查看Hadoop日志** - NameNode日志：`tail -f $HADOOP_HOME/logs/hadoop-root-namenode-hadoop01.log` - DataNode日志：`tail -f $HADOOP_HOME/logs/hadoop-root-datanode-hadoop01.log` 2. **检查防火墙与端口** ```bash # 开放HDFS端口（所有节点） firewall-cmd --permanent --add-port=9000/tcp # NameNode RPC firewall-cmd --permanent --add-port=9868/tcp # Secondary NameNode firewall-cmd --reload ``` --- ### **典型错误对照表** | 错误现象 | 根本原因 | 解决方案 | |---------|---------|----------| | `Permission denied` | SSH密钥认证失败 | 重新分发公钥并修正权限 | | `Could not resolve hostname` | 主机名拼写错误或DNS未解析 | 检查 `/etc/hosts` 和配置文件 | | 缺少HDFS进程 | NameNode未启动或格式化失败 | 清理临时文件并重新格式化 | 通过上述步骤可系统性解决HDFS启动失败问题，建议按顺序执行并逐项验证。