vm乌班图hadoop么办

### Ubuntu 系统上安装和配置 Hadoop 的指南 在 Ubuntu 系统中安装和配置 Hadoop 需要完成多个步骤，包括 JDK 安装、Hadoop 下载与解压、环境变量配置、SSH 免密登录设置以及 Hadoop 的启动和验证。以下是详细的说明： #### 1. 安装 Java Development Kit (JDK) Hadoop 是基于 Java 开发的，因此需要先安装 JDK 并配置环境变量。 ```bash $ sudo apt update $ sudo apt install openjdk-8-jdk ``` 检查 Java 是否正确安装并查看版本： ```bash $ java -version ``` 配置 JAVA_HOME 环境变量： 编辑 `/etc/profile` 文件或 `~/.bashrc` 文件，添加以下内容： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$JAVA_HOME/bin ``` 使配置生效： ```bash $ source /etc/profile ``` #### 2. 下载并解压 Hadoop 从 Apache 官方网站下载 Hadoop，并将其解压到指定目录。 ```bash $ wget https://downloads.apache.org/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz $ sudo tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/ $ cd /usr/local/ $ sudo mv hadoop-2.7.6 hadoop $ sudo chown -R $USER ./hadoop ``` #### 3. 配置环境变量 将 Hadoop 的路径添加到系统环境变量中。编辑 `~/.bashrc` 文件，添加以下内容： ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 使配置生效： ```bash $ source ~/.bashrc ``` #### 4. 配置 SSH 免密登录 为了在分布式模式下运行 Hadoop，需要配置 SSH 免密登录。 生成 SSH 密钥对： ```bash $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ``` 将公钥复制到本地主机： ```bash $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ``` 测试免密登录： ```bash $ ssh localhost ``` #### 5. 配置 Hadoop 进入 Hadoop 配置目录： ```bash $ cd /usr/local/hadoop/etc/hadoop/ ``` ##### 5.1 修改 `core-site.xml` 编辑 `core-site.xml` 文件，添加以下内容： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` ##### 5.2 修改 `hdfs-site.xml` 编辑 `hdfs-site.xml` 文件，添加以下内容： ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` ##### 5.3 修改 `mapred-site.xml` 如果文件不存在，可以从模板文件复制： ```bash $ cp mapred-site.xml.template mapred-site.xml ``` 编辑 `mapred-site.xml` 文件，添加以下内容： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` ##### 5.4 修改 `yarn-site.xml` 编辑 `yarn-site.xml` 文件，添加以下内容： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` ##### 5.5 修改 `hadoop-env.sh` 编辑 `hadoop-env.sh` 文件，设置 JDK 路径： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` 同时，设置 Hadoop 配置目录： ```bash export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/ ``` #### 6. 格式化 HDFS 在首次启动 Hadoop 前，需要格式化 HDFS： ```bash $ hdfs namenode -format ``` #### 7. 启动 Hadoop 启动 HDFS 和 YARN 服务： ```bash $ start-dfs.sh $ start-yarn.sh ``` 检查服务是否正常运行： ```bash $ jps ``` 应显示以下进程（视配置而定）： - NameNode - DataNode - SecondaryNameNode - ResourceManager - NodeManager #### 8. 测试 Hadoop 创建一个 HDFS 目录并上传文件进行测试： ```bash $ hdfs dfs -mkdir /input $ hdfs dfs -put /path/to/local/file /input $ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output ``` 查看输出结果： ```bash $ hdfs dfs -cat /output/part-r-00000 ``` --- ###

### Ubuntu 上 Hadoop 的安装与配置 在 Ubuntu 系统上安装和配置 Hadoop 可以通过以下方式实现。以下是详细的说明： #### JDK 安装 为了确保 Java 开发工具包 (JDK) 正确安装，在 Ubuntu 中可以使用命令行方式进行安装，这种方法简单且不容易出错[^1]。执行以下命令来安装 OpenJDK： ```bash sudo apt update sudo apt install openjdk-8-jdk ``` 验证 JDK 是否成功安装可以通过运行 `java -version` 命令完成。 #### 下载并解压 Hadoop 下载所需的 Hadoop 版本到本地计算机，并将其解压至指定目录。例如，假设已下载名为 `hadoop-3.2.4.tar.gz` 的文件，则可按照如下操作进行解压[^2]: ```bash sudo tar -zxf ~/Downloads/hadoop-3.2.4.tar.gz -C /usr/local/ ``` 这会将 Hadoop 文件夹提取到 `/usr/local/` 目录下。 #### 配置环境变量 为了让系统能够识别 Hadoop 和其依赖项，需编辑 `.bashrc` 或者全局的 `/etc/profile` 文件，添加必要的路径设置。打开终端输入以下命令修改个人用户的 shell 配置文件： ```bash nano ~/.bashrc ``` 接着追加下面的内容到该文件末尾处： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_INSTALL=/usr/local/hadoop-3.2.4 export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL ``` 保存更改后重新加载此脚本使新定义生效： ```bash source ~/.bashrc ``` #### 修改核心配置文件 进入刚刚创建好的 Hadoop 主目录下的 etc/conf 子目录里找到几个重要的 XML 格式的设定文档来进行调整适配当前机器状况以及网络布局情况等参数值。主要涉及以下几个方面: ##### core-site.xml 用于描述整个集群的一些基本信息比如默认使用的文件系统的 URI 地址是什么样的形式等等。 ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` ##### hdfs-site.xml 这里规定了 NameNode 数据节点副本数量以及其他存储策略方面的选项。 ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` ##### mapred-site.xml 先复制模板再做进一步改动成为正式版本。 ```bash cp mapred-site.xml.template mapred-site.xml ``` 然后编辑它指明框架名称为 Yarn 并关联对应的 JobTracker 进程位置地址信息等内容。 ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` ##### yarn-site.xml 最后针对资源调度器部分做出相应安排即可满足基本需求场景的要求标准。 ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 以上就是完整的单机模式部署流程介绍完毕之后就可以启动服务测试连接状态正常与否啦！