centos7 hadoop安装前提

### CentOS 7 上安装 Hadoop 的前提条件与环境准备 在 CentOS 7 上安装 Hadoop 需要满足一系列的前提条件和环境准备，以下是详细的说明： #### 1. 系统要求 - **操作系统版本**：确保使用的是 CentOS 7 或更高版本的系统[^1]。 - **硬件配置**： - 至少 2GB 的内存（推荐 4GB 或更多）。 - 至少 20GB 的可用磁盘空间。 - 多核 CPU 可以提高性能。 #### 2. 虚拟机或物理机准备 - 如果使用虚拟机，确保虚拟机软件（如 VMware 或 VirtualBox）已正确安装并运行稳定。 - 分配足够的资源给虚拟机，包括内存、CPU 和磁盘空间[^2]。 #### 3. 网络配置 - 配置静态 IP 地址，确保网络连接稳定。 - 关闭防火墙或配置防火墙规则以允许 Hadoop 的相关端口通信[^3]。 ```bash systemctl stop firewalld systemctl disable firewalld ``` #### 4. Java 环境安装 Hadoop 是基于 Java 的分布式计算框架，因此需要安装 JDK。 - 推荐安装 JDK 8 或更高版本。 - 下载并解压 JDK 安装包到指定目录，例如 `/opt/module/jdk`。 - 配置环境变量： ```bash export JAVA_HOME=/opt/module/jdk export PATH=$JAVA_HOME/bin:$PATH ``` - 检查 Java 是否安装成功： ```bash java -version ``` #### 5. SSH 无密码登录配置 Hadoop 集群需要通过 SSH 进行节点间的通信，因此需要配置无密码登录。 - 生成 SSH 密钥对： ```bash ssh-keygen -t rsa ``` - 将公钥添加到授权密钥中： ```bash cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ``` - 测试无密码登录： ```bash ssh localhost ``` #### 6. 配置 Hadoop 环境变量 - 解压 Hadoop 安装包到指定目录，例如 `/opt/module/hadoop`。 - 配置 Hadoop 环境变量： ```bash export HADOOP_HOME=/opt/module/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH ``` #### 7. 修改 Hadoop 配置文件 - **core-site.xml**：配置 HDFS 的默认文件系统地址。 ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - **hdfs-site.xml**：配置 HDFS 的副本数量。 ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` - **yarn-site.xml**：配置 YARN 的相关参数[^4]。 ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` #### 8. 格式化 HDFS 在启动 Hadoop 之前，需要格式化 HDFS 文件系统： ```bash hdfs namenode -format ``` #### 9. 启动 Hadoop - 启动 HDFS： ```bash start-dfs.sh ``` - 启动 YARN（如果需要）： ```bash start-yarn.sh ``` --- ###