虚拟机hadoop安装搭建伪分布式

### 如何在虚拟机中安装配置 Hadoop 搭建伪分布式集群 #### 准备工作 为了成功搭建Hadoop伪分布式环境，在虚拟机上需先准备好相应的软件和工具。确保已安装并配置好VMware Workstation 或 VirtualBox等虚拟化平台，并下载所需的Linux镜像文件。 #### 安装 Java 由于Hadoop基于Java开发，因此需要提前部署JDK环境。可以通过包管理器如`apt-get`(适用于Ubuntu)来简化这一过程[^1]: ```bash sudo apt update && sudo apt install openjdk-8-jdk -y ``` #### 下载与解压 Hadoop 前往Apache官方网站获取稳定版压缩包后上传至目标机器或通过wget命令在线拉取；接着利用tar解开归档文件： ```bash cd /usr/local/ sudo wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/hadoop-3.3.0.tar.gz sudo tar zxvf hadoop-3.3.0.tar.gz --strip-components=1 -C ./hadoop ``` #### 修改核心配置文件 core-site.xml 和 hdfs-site.xml 进入`$HADOOP_HOME/etc/hadoop/`目录下找到这两个XML文档进行编辑设置临时存储位置以及默认FS URI等参数[^2]: 对于core-site.xml: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 而对于hdfs-site.xml则指定NameNode的数据保存路径: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/path/to/namenode/data</value> </property> <property> <name>dfs.data.dir</name> <value>/path/to/datanode/data</value> </property> </configuration> ``` #### 编辑 hadoop-env.sh 添加 JDK 路径 切换到相应目录并通过vim打开此shell脚本追加JAVA_HOME变量指向实际安装地址[^3]: ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` #### 启动服务 执行如下指令初始化namenode格式化操作之后启动所有必要的守护进程： ```bash bin/hdfs namenode -format sbin/start-dfs.sh ``` 此时应该可以在浏览器访问http://localhost:50070查看Web UI界面确认节点状态正常运行。