Hadoop安装

### Hadoop 安装指南 #### 下载与解压 可以从官方渠道获取 Hadoop 的安装包，例如 `hadoop-3.1.3.tar.gz` 文件。此文件可通过访问 Hadoop 官网或者通过其他可信资源（如百度云盘）下载并保存到本地环境。随后执行以下命令完成解压缩以及路径设置的操作[^1]： ```bash sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local/ cd /usr/local/ sudo mv ./hadoop-3.1.3/ ./hadoop sudo chown -R hadoop ./hadoop ``` #### 非分布式模式配置 默认情况下，Hadoop 支持非分布式模式运行，在这种模式下无需额外调整配置即可正常工作。为了验证其功能，可按照如下流程测试基本的功能模块[^2]: ```bash mkdir ./input cp ./etc/hadoop/*.xml ./input ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* ``` #### 伪分布式模式配置 对于更复杂的场景需求，建议采用伪分布式部署方案。在此种模式下，需手动编辑两个核心配置文件——`core-site.xml` 和 `hdfs-site.xml` 来指定必要的参数。 ##### Core-Site Configuration (`core-site.xml`) 以下是针对该文件的具体修改内容[^3]: ```xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` ##### HDFS-Site Configuration (`hdfs-site.xml`) 同样地，更新另一个重要组件的相关属性值[^3]: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration> ``` 此外，还需确认 `/usr/local/hadoop/etc/hadoop/hadoop-env.sh` 脚本内的变量定义正确无误，并指定了合适的 JDK 版本位置[^4]: ```bash export JAVA_HOME=/path/to/jdk export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root export HDFS_JOURNALNODE_USER=root export HDFS_ZKFC_USER=root ``` 最后一步是启动服务进程并通过浏览器界面监控状态变化情况: ```bash start-dfs.sh jps # 检查各主要守护线程是否成功加载 ``` ---