Linux下Hadoop集群安装配置与问题解决全攻略

本文档主要介绍了在Linux环境下搭建Hadoop集群的全过程，包括系统设置、时间同步、SSH密钥对生成与共享、Java环境配置、Zookeeper安装以及配置步骤。以下是对这些关键知识点的详细说明： 1. **系统命名与网络设置**: - 首先，通过`hostnamectl set-hostname`命令设置主机名，确保每个节点具有唯一的标识。 - 使用`vim /etc/hosts`编辑主机名与IP地址映射，便于内部通信。 - 安装并启动NTP服务，使用`vim /etc/ntp.conf`编辑配置文件，添加本地服务器`server 127.127.1.1`，然后重启服务`systemctl restart ntpd`，确保节点间的时间同步。 2. **时间同步与定时任务**: - 使用`/usr/sbin/ntpdate`命令定期同步时钟，通过`*/10 * /usr/sbin/ntpdate untp.api.bz`设置一个定时任务，确保节点的时间准确。 3. **SSH密钥对与安全设置**: - 创建SSH密钥对以简化集群间的登录过程，使用`ssh-keygen -t rsa`生成公私钥对，并通过`ssh-copy-id`命令将公钥复制到其他Hadoop节点上，提升安全性。 - 更新`/root/.ssh/known_hosts`文件，删除不信任的IP地址，确保仅连接可信来源。 4. **Java环境配置**: - 如果Java已安装，检查版本并卸载旧版本：`rpm -qa | grep java`，然后使用`rpm -e --nodeps $a`卸载，接着手动安装指定版本（如`jdk1.8.0_77`）。 - 将新Java安装目录添加到环境变量`JAVA_HOME`和`PATH`中，验证Java版本。 5. **Zookeeper的安装与配置**: - 下载Zookeeper安装包`zookeeper-3.4.8.tar.gz`，解压并复制到相应目录，如`/usr/app`。 - 通过SCP将Zookeeper文件夹复制到Hadoop集群其他节点。 - 配置`ZOOKEEPER_HOME`和`PATH`，并在`zoo.cfg`文件中进行必要的配置，例如数据目录。 6. **系统环境变量设置**: - 在`/etc/profile`文件中添加环境变量，使系统在启动时自动加载这些配置，确保Hadoop和Zookeeper组件能够正常运行。 在整个过程中，作者强调了确保节点间的通信安全性和时间一致性的重要性，以及对Java和Zookeeper这类基础组件的正确安装和配置，这对于搭建一个稳定、高效的Hadoop集群至关重要。通过这些步骤，读者可以学习如何在Linux下搭建一个功能完备的Hadoop集群，并解决可能遇到的执行问题。