vmware虚拟机ubuntu安装hadoop

### 在 VMware 虚拟机中的 Ubuntu 系统安装和配置 Hadoop #### 创建 Hadoop 用户 为了安全性和权限管理，在安装 Hadoop 之前建议创建一个专用的用户账户 `hadoop`。通过命令行执行以下操作来完成此过程： ```bash sudo addgroup hadoop sudo useradd -d /home/hadoop -m hadoop -g hadoop -s /bin/bash sudo passwd hadoop ``` 上述命令会创建一个新的组 `hadoop` 和用户 `hadoop` 并为其分配密码[^1]。 #### 安装 Java 开发环境 (JDK) Hadoop 需要依赖 JDK 来运行其服务程序。可以通过以下方式下载并安装 JDK: ```bash sudo apt-get update sudo apt-get install openjdk-8-jdk java -version ``` 确认已成功安装 OpenJDK 版本 8 或更高版本[^2]。 #### 设置 SSH 免密登录 为了让 Hadoop 的节点之间能够无密码通信，需设置本地主机到自身的免密登录功能。切换至刚刚创建好的 `hadoop` 用户后，按照如下步骤操作： ```bash su - hadoop ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost exit ``` 如果可以无需输入密码直接进入，则说明配置正确。 #### 下载与解压 Hadoop 文件包 前往 Apache 官方网站或者镜像站点获取最新稳定版 Hadoop 压缩包，并将其放置在 `/usr/local/` 目录下进行解压缩处理： ```bash cd ~ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-x.x.x.tar.gz tar zxvf hadoop-x.x.x.tar.gz -C /usr/local/ ln -s /usr/local/hadoop-x.x.x /usr/local/hadoop export PATH=$PATH:/usr/local/hadoop/bin source ~/.bashrc ``` 这里假设使用的是清华大学开源软件镜像站作为资源地址。 #### 修改核心配置文件 编辑几个主要的核心配置文件以适应当前系统的实际需求情况： - **core-site.xml** ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - **hdfs-site.xml** ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 以上两个 XML 文档分别定义了默认文件系统 URI 及数据块副本数量参数设定值为单份存储模式下的伪分布式部署场景适用情形。 最后启动 NameNode 和 DataNode 进程前记得先格式化 namenode： ```bash hdfs namenode -format start-dfs.sh jps ``` 此时应该可以看到包括 SecondaryNameNode, NameNode, DataNode 在内的多个进程正在运行状态之中表示初始化完毕。 ---