VMware安装jvm虚拟机

### 安装配置 Spark 环境 #### 准备工作 为了确保能够在 VMware 虚拟机上成功安装和配置 Spark 环境，需先确认虚拟机已准备好必要的基础环境。这包括但不限于操作系统的选择以及网络设置。 对于本案例中的 CentOS 7 系统而言，应确保其可以正常联网以便下载所需资源，并且防火墙规则允许外部连接至 Spark 应用程序所使用的端口（如4040），即需要开放特定的服务端口[^1]。 #### Java 和 Scala 的安装 由于 Spark 是基于 JVM 构建的应用框架，因此首先要在目标机器上部署 JDK (建议版本 jdk1.8 或以上)，可以通过命令 `ll /usr/local/jdk1.8.0_162` 来验证 JDK 是否已经正确解压缩并放置于指定路径下[^4]；接着还需要准备 Scala 运行时环境，这里推荐使用 scala-2.11.x 版本作为兼容选项之一[^2]。 #### 下载与解压 Spark 发行版 获取官方发布的稳定版 Spark 压缩包（例如 spark-2.4.5-bin-hadoop2.6.tgz），将其上传到 Linux 主机并通过 tar 工具完成解档操作： ```bash tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/ ``` 此过程会创建一个新的文件夹 `/opt/spark-2.4.5/` 存储所有相关组件。 #### 配置环境变量 编辑全局 shell 初始化脚本 `/etc/profile` 添加如下几行来定义 SPARK_HOME 及 PATH: ```bash export SPARK_HOME=/opt/spark-2.4.5 export PATH=$PATH:$SPARK_HOME/bin ``` 保存更改后立即应用新的配置项： ```bash source /etc/profile ``` 此时可以在终端输入 `spark-shell` 测试是否能启动交互式的 Scala 解释器界面，如果一切顺利则说明基本安装已完成[^3]。 #### 启动 PySpark 并使 Web UI 访问可用 为了让宿主机上的浏览器可以直接访问位于 VM 中运行的 Spark 应用的状态页面，默认情况下监听本地地址即可满足需求。当提交作业给集群处理时，通常会在 master 节点开启 HTTP 服务供监控用途——比如 http://<master-ip>:4040 就是用来展示当前任务进度的地方。

### 安装准备 为了在 VMware 虚拟机上的 CentOS 7.9 中成功安装并配置 Hadoop 环境，需确保已准备好必要的软件资源和环境条件。建议从阿里云镜像站获取 CentOS 的 ISO 文件[^4]。 ### 创建虚拟机 创建新的虚拟机时，在自定义硬件设置中分配足够的磁盘空间给虚拟机，推荐至少 200 GB 来满足数据存储需求。完成虚拟机的基础配置后启动它，并按照提示完成操作系统的初始设定过程[^1]。 ### 安装 CentOS 7.9 遵循标准流程执行 CentOS 7.9 的安装程序指导直至结束。在此期间，请注意选择合适的分区方案以及网络配置选项以适应后续部署的需求。 ### 准备工作 #### 更新系统包管理器 ```bash sudo yum update -y ``` #### 关闭防火墙和服务 关闭 SELinux 和 iptables 或 firewalld 服务来减少不必要的麻烦： ```bash sudo setenforce 0 sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config sudo systemctl stop firewalld.service sudo systemctl disable firewalld.service ``` ### 配置 SSH 免密登录 为了让各个节点之间能够无障碍通信，需要为 root 用户或其他指定用户（如 hadoop）配置无密码 SSH 登录功能： - 在本地生成公钥私钥对； - 将公钥分发至所有目标主机； 具体命令如下所示： ```bash ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ``` ### JDK 安装 由于 Hadoop 是基于 Java 开发的应用框架，因此首先得确认 JVM 是否可用。如果尚未安装，则可以通过 YUM 源快速解决这个问题： ```bash sudo yum install java-1.8.0-openjdk-devel -y java -version ``` ### 下载与解压 Hadoop 前往 Apache 官方网站或者其他可信站点下载最新稳定版的 Hadoop 压缩文件，这里假设已经获得了 `hadoop-3.3.3.tar.gz` 这样的压缩包。将其放置于 `/opt/software/` 目录下并通过 tar 工具解开存放在 `/usr/local/hadoop` 路径内[^2]: ```bash cd /opt/software/ wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-3.3.3.tar.gz tar zxvf hadoop-3.3.3.tar.gz -C /usr/local/ mv /usr/local/hadoop-3.3.3 /usr/local/hadoop chown -R $USER:$USER /usr/local/hadoop ``` ### 设置环境变量 编辑用户的 `.bashrc` 文件加入以下几行以便每次打开终端都能自动加载这些路径： ```bash export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin source ~/.bashrc ``` ### 修改核心配置文件 进入 `$HADOOP_HOME/etc/hadoop/core-site.xml`, 添加如下 XML 片段用于指明临时目录位置和其他全局参数： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 对于 hdfs-site.xml, 则要增加关于 NameNode 数据库的位置说明以及其他 DFS 属性： ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/app/hadoop/tmp/nn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/app/hadoop/tmp/dn</value> </property> </configuration> ``` 最后一步是对 yarn-site.xml 进行适当调整让 ResourceManager 正常运作： ```xml <configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` ### 初始化 HDFS 并启动集群 初始化分布式文件系统之前务必保证当前身份具有相应权限，之后就可以通过下面两条指令分别格式化 namenode 和 datanode ，紧接着开启整个 Hadoop 生态圈的服务组件了： ```bash $HADOOP_HOME/bin/hdfs namenode -format start-dfs.sh start-yarn.sh jps ``` 上述 jps 命令可以用来验证各主要进程是否均已正常运行起来。