Hadoop ha 启动后3台的进程一般有

Hadoop High Availability (HA) 集群主要是为了提高系统的容错性和可用性，其启动过程主要包括以下几个步骤： 1. **检查健康状态**：首先，Hadoop会检查每个节点的状态，包括NameNode、JobTracker等关键服务是否运行正常。 2. **初始化Standby服务**：在主节点失败的情况下，HA模块会选择一个备选的Standby节点作为新的Active节点。这个过程中，Standby NameNode会开始接管元数据管理，而Standby JobTracker则准备接手任务调度。 3. **投票选举**：各个节点通过心跳检测和其他机制互相通信，如果发现某个节点不再响应，它们会发起新一轮的选举，选择新的活跃节点。 4. **配置文件同步**：新的Active节点会从共享存储（如HDFS）加载最新的配置信息，并更新自身的配置。 5. **服务启动**：Active NameNode和JobTracker会启动并开始处理请求，同时监控自身的健康状况，如遇到故障会再次触发切换流程。 6. **应用和服务迁移**：客户端应用程序可能会自动连接到新的Active节点，无需手动调整。

### Hadoop 高可用性 (HA) 安装和配置指南 #### 一、环境准备 为了实现Hadoop集群的高可用性(HA)，需要两台或多台服务器来部署NameNode和其他必要的组件。确保每台机器上已经安装并配置好Java环境以及SSH无密码登录。 对于Zookeeper服务，在所有节点执行命令以完成其安装[^2]: ```bash sudo yum install zookeeper-server -y ``` 初始化并启动 Zookeeper 服务时，需指定唯一的ID用于区分不同实例，并创建相应的`myid`文件于默认路径下[^4]: ```bash $ sudo service zookeeper-server init --myid=<unique_id> $ sudo service zookeeper-server start ``` #### 二、修改核心配置文件 编辑 `hdfs-site.xml`, 添加如下属性支持 NameNode 的 HA 功能： ```xml <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <!-- Define each NN --> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <!-- RPC address of first NN --> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>host1:8020</value> </property> <!-- RPC address of second NN --> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>host2:8020</value> </property> <!-- Address for failover proxy provider --> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- JournalNodes addresses --> <property> <name>dfs.namenode.shared.edits.dir</name> <value&q=uot;qjournal://host1:8485;host2:8485;host3:8485/ns1</value> </property> ``` 以上设置定义了一个名为`ns1`的名字空间，并指定了两个NameNode(`nn1`,`nn2`)及其RPC通信地址；还设置了故障转移代理提供者类名以便客户端能够自动切换到备用NameNode；最后通过JournalNodes存储共享日志记录位置。 #### 三、启用自动故障恢复机制 为了让整个系统更加健壮可靠，可以进一步开启自动化的故障检测与恢复功能。这通常涉及到配置Quorum Journal Manager(QJM),它允许多个JournalNode共同维护一份副本集从而提高数据安全性。 在`core-site.xml`中加入以下参数: ```xml <property> <name>ha.zookeeper.quorum</name> <value>zk_host1:2181,zk_host2:2181,zk_host3:2181</value> </property> ``` 此操作使得Hadoop能利用Zookeeper来进行状态同步和服务发现工作。 #### 四、格式化命名空间及启动服务 首次运行前要先对新的名字空间进行格式化处理： ```bash hdfs namenode -format ``` 接着分别在各个DataNode上启动相应守护进程即可正常使用具备HA特性的分布式文件系统了。