centos7配置集群错误

最新推荐文章于 2022-04-18 14:06:00 发布

陈zeyan

最新推荐文章于 2022-04-18 14:06:00 发布

阅读量424

点赞数

CC 4.0 BY-SA版权

分类专栏： Linux Hadoop

本文链接：https://blog.csdn.net/weixin_43832243/article/details/104460202

Hadoop 同时被 2 个专栏收录

10 篇文章

订阅专栏

Linux

6 篇文章

订阅专栏

本文详细介绍了Hadoop集群配置中遇到的问题及解决方案，包括NameNode与DataNode的VERSION文件不一致导致的集群无法正常启动，以及如何通过修改集群ID来解决此问题。同时，文章还提到了hosts文件配置的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[root@master logs]# hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: NaN%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

一般出现这种问题是格式化NameNode时出现问题。查看Hadoop配置文件hdfs-site.xml，我的配置

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/hadoop/hdfs/data</value>
</property>

查看master主节点的/data/hadoop/hdfs/name中的/data/hadoop/hdfs/name/current/VERSION，与其他节点的/data/hadoop/hdfs/data/current/VERSION ，我的当初为这样

主节点：

[root@master sbin]# cat /data/hadoop/hdfs/name/current/VERSION 
#Sun Feb 23 13:03:38 CST 2020
namespaceID=770263021
clusterID=CID-44682012-2b35-452a-a745-c8df2033910a
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1714921614-192.168.128.140-1582272157625
layoutVersion=-60

子节点：

[root@slave3 ~]# cat /data/hadoop/hdfs/data/current/VERSION 
#Sun Feb 23 14:46:30 CST 2020
storageID=DS-69330e7a-bbae-4fcb-8beb-1aff4b984088
clusterID=CID-49001589-e3f9-41cc-b112-bdb53051054a
cTime=0
datanodeUuid=e2162db1-3c80-4d51-866a-234513019491
storageType=DATA_NODE
layoutVersion=-56

然后我将主节点的clusterID改为与子节点的clusterID相同。然后重新打开集群就OK了。

还有一个原因可能为：

[root@master sbin]# cat /etc/hosts
#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.128.140 master
192.168.128.141 slave1 
192.168.128.142 slave2 
192.168.128.143 slave3

注释掉前两行