hadoop HA安装与配置

### Hadoop 高可用性 (HA) 安装和配置指南 #### 1. 环境准备 为了配置Hadoop集群，需要设置执行环境以及定义Hadoop守护进程的参数[^1]。 对于高可用性的实现，建议至少两台服务器用于部署NameNode。每台机器上应安装相同版本的操作系统，并确保网络连接稳定可靠。此外，在所有节点上需预先安装Java运行环境和其他依赖软件包。 #### 2. ZooKeeper 的安装与初始化 通过命令行工具可以方便地完成ZooKeeper服务端程序的安装： ```bash sudo yum install zookeeper-server -y ``` 接着启动并初始化ZooKeeper实例: ```bash $ sudo service zookeeper-server init --myid=1 $ sudo service zookeeper-server start JMX enabled by default Using config: /etc/zookeeper/conf/zoo.cfg Starting zookeeper ... STARTED ``` 注意：`--myid=1` 参数指定了当前ZooKeeper实例的身份ID，在实际操作中可根据实际情况调整该值[^4]。 #### 3. 修改核心配置文件 编辑 `hdfs-site.xml`, 添加如下属性来启用 NameNode HA 功能： ```xml <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <!-- Other configurations --> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>node1.example.com:8020</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>node1.example.com:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://node1.example.com:8485;node2.example.com:8485;journalnode.example.com:8485/ns1</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/path/to/journal/node/data/directory</value> </value> ``` 以上配置假设存在两个名称分别为 nn1 和 nn2 的 NameNodes ，并且启用了 JournalNodes 来同步元数据更改记录。 #### 4. 同步目录结构 在备用NameNode上创建必要的文件夹并与主NameNode保持一致的数据存储路径。 #### 5. 初始化共享日志 使用 hdfs namenode 命令对新加入的NameNode进行格式化处理： ```shell hdfs namenode -bootstrapStandby ``` 这一步骤会将现有活跃状态下的NameNode中的命名空间信息复制到新的待机模式下运行的NameNode当中去。 #### 6. 开始服务 最后分别开启JournalNodes、ZKFCs（ZooKeeper Failover Controller）、DataNodes 及其他组件的服务即可让整个分布式文件系统正常工作起来。 ---