Hadoop HA安装配置

### Hadoop 高可用性 (HA) 安装和配置指南 #### 一、环境准备 为了实现Hadoop集群的高可用性(HA)，需要两台或多台服务器来部署NameNode和其他必要的组件。确保每台机器上已经安装并配置好Java环境以及SSH无密码登录。 对于Zookeeper服务，在所有节点执行命令以完成其安装[^2]: ```bash sudo yum install zookeeper-server -y ``` 初始化并启动 Zookeeper 服务时，需指定唯一的ID用于区分不同实例，并创建相应的`myid`文件于默认路径下[^4]: ```bash $ sudo service zookeeper-server init --myid=<unique_id> $ sudo service zookeeper-server start ``` #### 二、修改核心配置文件 编辑 `hdfs-site.xml`, 添加如下属性支持 NameNode 的 HA 功能： ```xml <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <!-- Define each NN --> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <!-- RPC address of first NN --> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>host1:8020</value> </property> <!-- RPC address of second NN --> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>host2:8020</value> </property> <!-- Address for failover proxy provider --> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- JournalNodes addresses --> <property> <name>dfs.namenode.shared.edits.dir</name> <value&q=uot;qjournal://host1:8485;host2:8485;host3:8485/ns1</value> </property> ``` 以上设置定义了一个名为`ns1`的名字空间，并指定了两个NameNode(`nn1`,`nn2`)及其RPC通信地址；还设置了故障转移代理提供者类名以便客户端能够自动切换到备用NameNode；最后通过JournalNodes存储共享日志记录位置。 #### 三、启用自动故障恢复机制 为了让整个系统更加健壮可靠，可以进一步开启自动化的故障检测与恢复功能。这通常涉及到配置Quorum Journal Manager(QJM),它允许多个JournalNode共同维护一份副本集从而提高数据安全性。 在`core-site.xml`中加入以下参数: ```xml <property> <name>ha.zookeeper.quorum</name> <value>zk_host1:2181,zk_host2:2181,zk_host3:2181</value> </property> ``` 此操作使得Hadoop能利用Zookeeper来进行状态同步和服务发现工作。 #### 四、格式化命名空间及启动服务 首次运行前要先对新的名字空间进行格式化处理： ```bash hdfs namenode -format ``` 接着分别在各个DataNode上启动相应守护进程即可正常使用具备HA特性的分布式文件系统了。