虚拟机安装Hadoop

### 安装和配置Hadoop的指南 #### 创建虚拟机环境 为了在虚拟机中运行 Hadoop，首先需要准备一个合适的 Linux 发行版作为操作系统。推荐使用 Ubuntu 或 CentOS，因为它们具有良好的社区支持和丰富的文档资源[^3]。确保虚拟机软件（如 VMware Workstation 或 VirtualBox）已经正确安装，并为目标操作系统分配足够的硬件资源，例如至少 2GB 的内存和 20GB 的硬盘空间。 #### 配置虚拟机磁盘大小 虚拟硬盘的空间对于顺利安装系统至关重要。如果初始设置过小（例如仅 10GB），可能会导致读取 Ubuntu 系统盘时报错并无法正常进入安装界面。因此，建议将虚拟硬盘调整到更大的容量，比如 30GB 或更多，以避免此类问题的发生[^4]。 #### 设置 Hadoop 用户账户 在开始安装之前，通常会创建一个新的用户专门用于管理 Hadoop 进程。这一步可以通过 `adduser` 命令来实现： ```bash sudo adduser hadoop_user ``` 接着切换至新创建的用户下继续后续操作： ```bash su - hadoop_user ``` 此过程有助于隔离权限，提高安全性。 #### SSH 登录无密码验证 为了让节点间通信更加便捷，在单机模式或者伪分布式的环境下都需要配置免密登录功能。具体做法如下： 1. **生成公钥私钥对** 使用 ssh-keygen 工具生成一对新的 RSA 密钥： ```bash ssh-keygen -t rsa -P '' ``` 2. **复制公钥到本地主机** 将刚产生的 id_rsa.pub 文件追加到 authorized_keys 中去，从而允许当前机器无需输入密码即可通过 SSH 访问自己。 ```bash cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` 这样可以简化未来启动集群时的操作流程。 #### Java 开发工具包 (JDK) 的安装 由于 Hadoop 是基于 Java 编写的程序框架，所以必须先确认 JDK 是否存在以及版本号是否满足最低需求。如果没有预装，则需手动下载适合该系统的二进制压缩包解压后加入 PATH 路径里头；也可以利用 apt-get/yum package manager 自动获取最新稳定版： ```bash sudo apt update && sudo apt install openjdk-8-jdk-headless -y java -version export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/' >>~/.bashrc source ~/.bashrc ``` 上述命令适用于 Debian 类型衍生品家族成员之一——Ubuntu 平台上的情况说明[^2]。 #### 下载与部署 Hadoop 前往 Apache 官方网站或者其他可信源处找到对应的目标 tarball 归档文件链接地址，执行 wget 获取远程服务器端存储的数据集副本保存于本地目录当中： ```bash cd ~ wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.3.5.tar.gz tar xf hadoop-3.3.5.tar.gz mv hadoop-3.3.5 /opt/hadoop ln -s /opt/hadoop /opt/hadoop-current ``` 随后修改 .bashrc 添加必要的路径变量定义语句以便全局调用方便快捷: ```bash echo ' # Set HADOOP environment variables export HADOOP_HOME=/opt/hadoop-current export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin'>>~/.bashrc source ~/.bashrc ``` 最后测试简单的 hdfs dfsadmin 报告查看服务状态是否初始化完毕: ```bash hdfs namenode -format start-dfs.sh jps stop-dfs.sh ``` 以上步骤涵盖了从零构建起一套完整的 Hadoop 单机实例所需经历的主要环节概述[^1]。