部署Hadoop高可用集群

### Hadoop高可用集群部署教程 #### 1. 部署概述 Hadoop高可用（High Availability, HA）集群旨在通过引入多个NameNode来消除单点故障问题。其中一个NameNode处于Active状态，负责处理客户端请求；另一个则处于Standby状态，随时准备接管工作。 为了实现这一目标，在虚拟机`hadoop1`上需执行以下命令以初始化HDFS名称空间并格式化文件系统[^1]: ```bash hdfs namenode -format ``` 随后，利用`scp`工具将已配置好的Hadoop目录同步到其余节点（如`hadoop2`和`hadoop3`)，从而确保各节点间的一致性[^2]: ```bash scp -r /export/servers/hadoop-HA/hadoop-3.1.3 hadoop2:/export/servers/hadoop-HA/ scp -r /export/servers/hadoop-HA/hadoop-3.1.3 hadoop3:/export/servers/hadoop-HA/ ``` #### 2. HDFS HA配置 在核心站点配置文件`core-site.xml`中定义默认文件系统的URI以及临时数据存储路径[^3]: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://nameservice1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/data</value> </property> </configuration> ``` 其中，`nameservice1`代表逻辑命名服务ID，具体映射关系将在后续步骤中指定。 对于`hdfs-site.xml`，需要增加若干属性支持HA功能: ```xml <configuration> <!-- NameService ID --> <property> <name>dfs.nameservices</name> <value>nameservice1</value> </property> <!-- NameNode地址 --> <property> <name>dfs.ha.namenodes.nameservice1</name> <value>nn1,nn2</value> </property> <!-- 单独NN RPC通信端口 --> <property> <name>dfs.namenode.rpc-address.nameservice1.nn1</name> <value>hadoop1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.nameservice1.nn2</name> <value>hadoop2:8020</value> </property> <!-- 数据保存位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/nameservice1</value> </property> <!-- 自动故障转移启用标志 --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!-- ZooKeeper服务器列表 --> <property> <name>ha.zookeeper.quorum</name> <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value> </property> </configuration> ``` 完成上述修改后，可通过以下指令验证集群健康状况及资源分布情况[^4]: ```bash # 查看整个HDFS的状态报告 hdfs dfsadmin -report # 列举特定路径下的文件信息 hdfs dfs -ls / # 统计某目录占用磁盘容量 hdfs dfs -du -s -h / ``` #### 3. YARN HA设置 除了HDFS外，YARN同样可以配置成高可用模式。主要涉及ResourceManager的冗余设计。编辑`yarn-site.xml`加入必要的参数项: ```xml <configuration> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-cluster</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>hadoop1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>hadoop2</value> </property> </configuration> ``` 最后一步是启动所有相关组件，并确认它们正常运行: ```bash start-dfs.sh mr-jobhistory-daemon.sh start historyserver yarn-daemons.sh start resourcemanager ``` ---