CDH HA部署

### CDH HA (High Availability) 部署详解 #### 一、概述 在大数据处理领域，Cloudera Distribution Including Apache Hadoop (CDH) 是一个广泛使用的平台，它不仅包含Hadoop的核心组件，还提供了丰富的附加服务。为了确保系统的稳定性和可靠性，采用CDH进行HA（高可用性）部署变得尤为重要。本文将详细介绍CDH HA部署的过程，包括前期准备、配置hosts文件、设置主机名、关闭防火墙和SELinux等步骤，并深入探讨NFS的安装与配置过程。 #### 二、前期准备 在进行CDH HA部署之前，需要完成一系列的基础配置工作，这些工作旨在确保集群环境的一致性和稳定性。以下是必要的准备工作： 1. **配置hosts文件**：确保每台服务器都可以通过IP地址互相识别对方的主机名，这对于后续的服务启动至关重要。例如，在本例中，需要配置如下hosts文件： - `192.168.245.105 scm-node1` - `192.168.245.106 scm-node2` - `192.168.245.107 scm-node3` 2. **设置主机名**：为了更好地管理和区分各节点，我们需要分别为每个节点设置不同的主机名。可以通过执行以下命令来实现： - 在`192.168.245.105`上执行： ``` sudo hostnamectl --static --transient set-hostname scm-node1 ``` - 在`192.168.245.106`上执行： ``` sudo hostnamectl --static --transient set-hostname scm-node2 ``` - 在`192.168.245.107`上执行： ``` sudo hostnamectl --static --transient set-hostname scm-node3 ``` 3. **关闭防火墙**：为了确保各节点之间能够顺利通信，需要关闭防火墙。对于不同版本的CentOS，操作方式略有差异： - **CentOS-6**： - 在`scm-node2`和`scm-node3`上执行： ``` sudo chkconfig iptables off sudo service iptables stop ``` - **CentOS-7**： - 在`scm-node2`和`scm-node3`上执行： ``` sudo chkconfig firewalld off sudo service firewalld stop ``` 4. **关闭SELinux**：SELinux可能会干扰服务正常运行，因此建议将其关闭： - 在`scm-node2`和`scm-node3`上执行： ``` sudo sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config ``` 5. **安装基础软件**：确保`scm-node2`和`scm-node3`上已经安装了CDH和MySQL等必要软件。 6. **其他配置**：还需完成NTP时钟同步以及双机互信等配置。 #### 三、安装NFS NFS (Network File System) 是一种允许网络上的计算机共享文件系统的协议。在CDH HA部署中，NFS主要用于实现数据和服务的共享，是整个集群稳定性的关键因素之一。 1. **在线安装NFS**：在`scm-node1`主机上执行以下命令： ``` sudo yum -y install nfs-utils rpcbind ``` 2. **离线安装NFS**：如果网络环境受限，可以采取离线安装的方式。对于不同的CentOS版本，需要下载对应的RPM包并安装。例如，针对CentOS-6和CentOS-7，分别需要安装不同的包集。具体命令如下： - 进入安装包所在目录，并执行： ``` sudo rpm -ivh *.rpm ``` 3. **配置NFS服务**：配置NFS服务时，需要指定共享目录的访问权限。主要参数有： - `ro`：共享目录只读； - `rw`：共享目录可读可写； - `all_squash`：所有访问用户都映射为匿名用户或用户组； - `no_all_squash`（默认）：访问用户先与本机用户匹配，匹配失败后再映射为匿名用户或用户组； - `root_squash`（默认）：将来访的root用户映射为匿名用户或用户组； - `no_root_squash`：来访的root用户保持root帐号权限； - `anonuid=<UID>`：指定匿名访问用户的本地用户UID，默认为nfsnobody（65534）； - `anongid=<GID>`：指定匿名访问用户的本地用户组GID，默认为nfsnobody（65534）； - `secure`（默认）：客户端必须通过认证才能访问共享目录； 通过上述步骤，我们可以成功地搭建起CDH HA集群的基础环境，为后续的大数据分析服务提供稳定可靠的支持。需要注意的是，在实际部署过程中还需要根据具体的业务需求和技术环境进行适当的调整和优化。