linux下载hadoop黑马

### 下载并安装Hadoop #### 准备工作 为了确保顺利下载和安装Hadoop，在此之前需确认Linux系统的网络连接正常，并已准备好必要的工具如wget或curl用于下载文件。另外，建议先更新系统软件包列表以获取最新版本的应用程序。 ```bash sudo apt-get update || yum update -y ``` #### 安装Java开发套件(JDK) 由于Hadoop基于Java编写，因此需要预先安装JDK。可以采用如下方式解压已经上传到服务器指定路径下的JDK压缩包[^1]： ```bash tar -zxvf jdk-8u351-linux-x64.tar.gz -C /export/server/ ``` 这会把JDK解压至`/export/server/jdk1.8.0_351`目录下（假设为该版本）。接着应配置环境变量以便全局使用java命令。 编辑`.bashrc`或其他shell初始化文件来添加JAVA_HOME以及PATH设置: ```bash echo 'export JAVA_HOME=/export/server/jdk1.8.0_351' >> ~/.bashrc echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc source ~/.bashrc ``` 验证安装成功与否可通过执行`java -version`查看返回的信息是否正确显示了所安装的JDK版本号。 #### 时间同步配置 考虑到分布式计算环境中各节点间保持一致的时间戳非常重要，故推荐按照以下步骤完成NTP服务的搭建与启用[^3]: ```bash yum install -y ntp rm -f /etc/localtime ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime ntpdate -u ntp.aliyun.com systemctl start ntpd systemctl enable ntpd ``` 上述指令序列实现了中国上海时区设定、阿里云NTP服务器作为时间源的一次性校准动作；同时开启了ntpd守护进程及其随系统启动自动加载的功能。 #### 获取Hadoop发行版 前往Apache官方网站或者镜像站点寻找适合当前平台架构(通常是amd64/x86_64)的目标二进制分发包进行下载。这里提供了一种利用wget工具直接从官方地址拉取稳定版的方法： ```bash cd ~ wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.3.4.tar.gz ``` 注意替换URL中的具体版本号以匹配最新的发布情况。 #### 解压并移动Hadoop 一旦下载完毕，则可继续处理这个归档文件将其放置于预期的工作空间内： ```bash mkdir -p ~/software && tar zxf hadoop-*.tar.gz -C ~/software/ mv ~/software/hadoop-* ~/software/hadoop ``` 此时，默认情况下Hadoop会被安置在用户的home目录下的`~/software/hadoop`位置处。 #### 配置Hadoop环境变量 为了让终端能够识别hdfs, yarn等命令行工具，还需进一步调整Bash shell配置文件(.bashrc)，追加相应的环境参数定义： ```bash echo '# HADOOP ENVIRONMENT VARIABLES START' >> ~/.bashrc echo 'export HADOOP_INSTALL=~/software/hadoop' >> ~/.bashrc echo 'export PATH=$PATH:$HADOOP_INSTALL/bin' >> ~/.bashrc echo 'export PATH=$PATH:$HADOOP_INSTALL/sbin' >> ~/.bashrc echo 'export HADOOP_MAPRED_HOME=$HADOOP_INSTALL' >> ~/.bashrc echo 'export HADOOP_COMMON_HOME=$HADOOP_INSTALL' >> ~/.bashrc echo 'export HADOOP_HDFS_HOME=$HADOOP_INSTALL' >> ~/.bashrc echo 'export YARN_HOME=$HADOOP_INSTALL' >> ~/.bashrc echo 'export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop' >> ~/.bashrc echo '# HADOOP ENVIRONMENT VARIABLES END' >> ~/.bashrc source ~/.bashrc ``` 至此，基本完成了单机模式下的Hadoop部署准备工作。对于集群场景而言还需要额外关注namenode/datanode角色分配及相关XML配置项修改等问题。