hadoop jar /opt/program/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount hdfs://master:8020/input hdfs://master://8020/output/wc 2025-03-13 20:50:45,629 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 java.net.ConnectException: Call From master/192.168.107.101 to master:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:831) at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:755) at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1549) at org.apache.hadoop.ipc.Client.call(Client.java:1491) at org.apache.hadoop.ipc.Client.call(Client.java:1388) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:233) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:118) at com.sun.proxy.$Proxy9.getFileInfo(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:904) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandl

<think>嗯，用户遇到了Hadoop连接ResourceManager失败的问题，具体错误是连接被拒绝，指向master:8020。我需要根据提供的引用信息和Hadoop的知识来一步步分析可能的原因和解决方案。 首先，检查网络连通性。用户提供的引用[^2]中提到“Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception”，这可能意味着节点之间的网络有问题。需要确认各个节点的主机名和IP配置是否正确，hosts文件是否包含所有节点的映射，以及防火墙是否关闭。 接下来，查看ResourceManager的日志。Hadoop的日志通常在logs目录下，检查ResourceManager的日志可以找到具体的错误信息，比如端口冲突或配置错误。引用[^1]提到Hadoop 3.1.3的文档，可能需要核对配置文件中关于ResourceManager地址的设置是否正确，比如yarn-site.xml中的yarn.resourcemanager.address是否正确设置为master:8020，或者是否是8032端口？ 然后，检查HDFS和YARN服务状态。用户提到使用myhadoop.sh脚本来重启集群，可能脚本是否正确启动了所有服务？需要确认ResourceManager是否真的在运行，使用jps命令查看是否有ResourceManager进程。如果没有，可能需要手动启动。 另外，数据仓库目录的创建引用[^3]可能不直接相关，但HDFS的健康状况会影响YARN。运行hadoop fs -test命令检查HDFS是否正常，或者是否有NameNode未启动的情况。 还有，Hadoop版本兼容性问题吗？引用[^1]提到了Hadoop稳定版和兼容性，用户使用的是Hadoop 3.1.3，是否与其他组件如ZooKeeper版本兼容？不过问题可能更基础，比如配置错误。 还有，检查端口是否正确。ResourceManager默认的RPC端口是8032，而8020通常是NameNode的端口。用户错误信息提到8020，可能配置中将ResourceManager的地址错误地指向了NameNode的端口？需要查看yarn-site.xml中的配置项是否正确。 最后，如果以上步骤都确认无误，可能需要完全清理临时文件并重新格式化HDFS，然后重启集群。有时候临时文件损坏会导致服务无法正常启动。 生成相关问题的话，可能需要覆盖配置检查、服务启动、日志分析、防火墙设置、版本兼容性等方面。</think>### 解决Hadoop连接ResourceManager失败的问题 #### 1. 检查网络连通性和配置 - **验证主机名解析**：确保所有节点的主机名（如`hadoop102`、`master`）在`/etc/hosts`中正确映射到IP地址。例如： ```plaintext 192.168.10.102 hadoop102 ``` 若主机名解析错误，可能导致节点间通信失败。 - **检查防火墙状态**：关闭防火墙或开放Hadoop相关端口（如8020、8032、8088）： ```bash systemctl stop firewalld # CentOS ufw disable # Ubuntu ``` #### 2. 核对Hadoop配置文件 - **`yarn-site.xml`**：确认ResourceManager的地址和端口配置正确： ```xml <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> <!-- 默认RPC端口为8032 --> </property> ``` 若误用8020（NameNode默认端口），会导致连接失败。 - **`core-site.xml`**：检查HDFS的访问地址是否指向正确节点： ```xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property> ``` #### 3. 重启服务并验证状态 - **启动集群**：使用脚本或手动命令重启服务： ```bash # 使用用户提供的脚本 myhadoop.sh start # 手动启动（根据实际路径调整） $HADOOP_HOME/sbin/start-dfs.sh $HADOOP_HOME/sbin/start-yarn.sh ``` - **检查进程状态**： ```bash jps # 确认ResourceManager和NodeManager是否运行 ``` 若无`ResourceManager`进程，需检查日志（`$HADOOP_HOME/logs/yarn-*-resourcemanager-*.log`）排查启动失败原因。 #### 4. 验证HDFS健康状态 - 执行基础HDFS操作，确认NameNode和DataNode正常： ```bash hadoop fs -ls / # 查看根目录 hadoop fs -test -e /hive/warehouse # 检查数据仓库目录是否存在 ``` #### 5. 高级排查 - **端口占用检查**： ```bash netstat -tuln | grep 8032 # 确认8032端口是否被监听 ``` - **清理临时文件**： 删除所有节点的`/tmp`目录下Hadoop相关临时文件，重新格式化HDFS： ```bash hdfs namenode -format ``` ---