CentOS 7 + Hadoop 2.7.3 + JDK 1.8 安装与配置教程

本篇文章主要介绍了如何在CentOS 7系统上安装Hadoop 2.7.3版本，并配合使用Java JDK 1.8进行配置。以下是详细的步骤： 1. **修改主机名**： 首先，你需要在`/etc/sysconfig/network`文件中修改主机名，将主机分为master、slave1和slave2，然后执行`source /etc/sysconfig/network`使更改生效。如果需要，可能需要重启系统以确保更改。 2. **设置主机映射（Hosts文件）**： 在master主机上，编辑`/etc/hosts`文件，添加各个主机的IP地址与主机名对应关系，并将此文件复制到其他主机，通过SSH进行远程拷贝，如`scp /etc/hosts [email protected]:/etc`。 3. **设置SSH免密码登录**： 通过SSH-keygen生成密钥对，然后在master主机上使用`ssh-copy-id`命令将公钥复制到其他主机（如`ssh-copy-id slave1`），实现无密码登录。 4. **安装JDK 1.8**： 检查系统上是否有JDK，可以使用`rpm -qa | grep jdk`。如果没有，使用`rpm -e --nodeps`卸载不需要的软件后，解压并安装JDK 1.8.0_141到`/opt/software/java`目录。配置环境变量`JAVA_HOME`、`JRE_HOME`、`CLASSPATH`和`PATH`，并通过`source /etc/profile`使更改生效，最后测试`java-version`和`javac-version`命令。 5. **安装Hadoop 2.7.3**： 解压Hadoop安装包到`/opt/software/hadoop`目录，重命名目录为"hadoop"。创建必要的子目录，如`tmp`、`logs`、`hdfs/data`、`hdfs/name`。接着，修改关键配置文件，如`hadoop-env.sh`、`yarn-env.sh`和`etc/hadoop`下的其他配置。 6. **配置环境变量**： 在`hadoop`目录下的配置文件中，设置环境变量以指向Hadoop的正确安装路径，确保Hadoop可以正确运行。 通过这些步骤，你将完成在CentOS 7系统上傻瓜式安装Hadoop 2.7.3以及配套的JDK 1.8环境。每个环节的细节对于Hadoop集群的正常运行至关重要，确保每一步都执行正确，以确保后续的数据处理和分布式计算任务能够顺利进行。