hadoop伪分布式搭建centos7

1. 安装Java环境 首先，需要安装Java环境，因为Hadoop是基于Java开发的。可以通过以下命令安装Java： ``` sudo yum install java-1.8.-openjdk-devel ``` 2. 安装Hadoop 接下来，需要下载并安装Hadoop。可以从Hadoop官网下载最新版本的Hadoop。下载完成后，解压缩文件并将其移动到/usr/local目录下： ``` sudo tar -xzvf hadoop-3.3..tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-3.3. /usr/local/hadoop ``` 3. 配置Hadoop环境变量 为了方便使用Hadoop，需要将Hadoop的bin目录添加到系统的PATH环境变量中。可以通过以下命令编辑/etc/profile文件： ``` sudo vi /etc/profile ``` 在文件末尾添加以下内容： ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 保存并退出文件，然后执行以下命令使环境变量生效： ``` source /etc/profile ``` 4. 配置Hadoop 接下来，需要配置Hadoop。可以通过以下命令编辑Hadoop的配置文件： ``` sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 找到以下行： ``` # export JAVA_HOME= ``` 将其修改为： ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.-openjdk-1.8..292.b10-.el8_4.x86_64 ``` 保存并退出文件。 接下来，需要编辑Hadoop的核心配置文件core-site.xml： ``` sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml ``` 在<configuration>标签中添加以下内容： ``` <property> <name>fs.defaultFS</name> <value>hdfs://localhost:900</value> </property> ``` 保存并退出文件。 接下来，需要编辑Hadoop的HDFS配置文件hdfs-site.xml： ``` sudo vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` 在<configuration>标签中添加以下内容： ``` <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> ``` 保存并退出文件。 5. 启动Hadoop 现在，可以启动Hadoop并测试其是否正常工作。可以通过以下命令启动Hadoop： ``` start-all.sh ``` 启动完成后，可以通过以下命令检查Hadoop是否正常工作： ``` jps ``` 如果一切正常，应该会看到以下输出： ``` NameNode SecondaryNameNode DataNode ResourceManager NodeManager ``` 6. 测试Hadoop 现在，可以测试Hadoop是否正常工作。可以通过以下命令创建一个测试文件并将其上传到HDFS： ``` echo "Hello, Hadoop!" > test.txt hdfs dfs -mkdir /test hdfs dfs -put test.txt /test/ ``` 然后，可以通过以下命令从HDFS中读取文件并查看其内容： ``` hdfs dfs -cat /test/test.txt ``` 如果一切正常，应该会看到以下输出： ``` Hello, Hadoop! ``` 至此，Hadoop伪分布式已经成功搭建完成。

### 如何在CentOS上配置Hadoop伪分布式环境 #### 准备工作 为了顺利安装并运行 Hadoop，在 CentOS 上需完成如下准备： - **安装 VMware**：确保已安装 VMware 软件用于创建虚拟机。 - **CentOS 配置** - 设置固定 IP 地址，编辑 `/etc/sysconfig/network-scripts/ifcfg-eth0` 文件来指定静态 IP[^1]。 - 关闭防火墙以减少网络干扰 `systemctl stop firewalld.service; systemctl disable firewalld.service`. - 修改主机名为适合集群使用的名称，可通过编辑 `/etc/hostname` 实现永久变更. - 编辑 `/etc/hosts`, 添加本机 IP 和新设的主机名对应关系以便于内部解析. - 使用 SSH 密钥认证实现无密码登录，方便后续操作自动化. #### 安装 JDK Java 是 Hadoop 运行所必需的基础组件之一。 ```bash # 下载并解压 JDK 至合适位置 tar zxvf jdk-8uXXX-linux-x64.tar.gz -C /opt/ ``` 接着更新全局环境变量文件 `/etc/profile`: ```bash export JAVA_HOME=/opt/jdk1.8.0_XXX export PATH=$PATH:$JAVA_HOME/bin source /etc/profile # 应用更改 java -version # 测试 Java 是否正常工作 ``` 以上步骤确保了系统的 Java 开发工具链已经就绪[^2]. #### 安装 Hadoop 获取最新版本的 Hadoop 并将其放置到目标机器上的适当目录内。这里推荐使用本地传输方式提高效率[^3]: ```bash cd /usr/local sudo tar zxf ~/Downloads/hadoop-3.3.6.tar.gz sudo mv hadoop-3.3.6 hadoop sudo chown -R $USER:hadoop ./hadoop # 更改所有权给当前用户 ``` 随后调整必要的配置项，主要涉及三个 XML 文件(`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`)以及 shell script (`hadoop-env.sh`). 特别注意替换其中占位符为实际路径或参数值. 对于核心站点配置 core-site.xml : ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 针对 HDFS 站点 hdfs-site.xml 的设定则更为具体一些 : ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/user/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/user/data/datanode</value> </property> </configuration> ``` 最后一步是在 hadoop-env.sh 中定义 JVM 参数及其他选项 : ```bash export JAVA_HOME=${JAVA_HOME} ``` 初始化 NameNode 后即可尝试启动整个框架 : ```bash bin/hdfs namenode -format # 格式化文件系统 sbin/start-dfs.sh # 启动 DFS 组件 jps # 检查进程状态确认是否成功启动 Namenode/Datanode ``` 访问 Web UI 页面 http://localhost:9870 来监控节点健康状况及资源利用率情况.