ubuntu伪分布式部署安装Hadoop

### Hadoop伪分布式部署在Ubuntu上的安装教程 #### 1. ### 准备工作 确保 Ubuntu 系统已经更新至最新版本，并且具备互联网连接以便下载必要的软件包。 ```bash sudo apt update && sudo apt upgrade -y ``` 接着，创建一个新的用户专门用于运行 Hadoop 进程，这是良好的实践以提高安全性[^1]。 ```bash sudo adduser hadoop sudo usermod -aG sudo hadoop ``` 切换到新创建的用户账户继续后续操作： ```bash su - hadoop ``` --- #### 2. ### 安装 SSH 并配置无密码登录 Hadoop 需要通过 SSH 访问本地主机来进行通信。首先安装 OpenSSH 服务器并启动它： ```bash sudo apt-get install openssh-server -y /etc/init.d/ssh start ``` 随后生成密钥对并将公钥添加到授权列表中实现免密码登录功能[^2]: ```bash ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` 测试是否能够无需输入密码即可完成自我连接: ```bash ssh localhost exit ``` 如果一切正常，则应该可以直接进入而不需要再次键入密码。 --- #### 3. ### Java 环境安装 Hadoop 基于 Java 开发，因此需要先安装 JDK (推荐使用 Oracle JDK 或 OpenJDK) 。这里我们选择安装 OpenJDK : ```bash sudo apt-get install openjdk-8-jdk -y java -version ``` 设置 JAVA_HOME 变量方便之后调用： 编辑 `~/.bashrc` 文件加入如下几行内容： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$JAVA_HOME/bin ``` 使更改生效： ```bash source ~/.bashrc echo $JAVA_HOME ``` --- #### 4. ### 下载与解压 Hadoop 前往 Apache 官方网站获取最新的稳定版 Hadoop tarball ，然后将其上传至服务器或者直接利用 wget 工具拉取下来： ```bash wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.x.x.tar.gz tar zxvf hadoop-*.tar.gz mv hadoop-* ~/hadoop ``` 同样地也需要设定好环境变量便于全局访问命令行工具们： 追加下面两段话进刚才修改过的那个 `.bashrc` 中去： ```bash export HADOOP_HOME=~/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 激活变动后的配置文件： ```bash source ~/.bashrc which hadoop ``` --- #### 5. ### 单机模式初步体验 此时可以尝试简单跑一下自带的例子看看效果如何。不过在此之前记得调整 core-site.xml 和 hdfs-site.xml 的参数值使之适应当前场景下的需求。 定位到 conf 目录下找到这两个 xml 文件分别做相应改动——比如指定临时目录的位置之类的细节部分。 格式化 NameNode 后就可以正式启动 daemons 了！ ```bash hdfs namenode -format start-dfs.sh jps ``` 最后别忘了停止服务的时候也要优雅地关闭它们哦~ ```bash stop-dfs.sh ``` --- #### 6. ### 伪分布式配置 按照官方文档指引逐步完善各个组件之间的交互关系直至达到预期目标为止。重点在于正确填写 slaves 列表以及适当调节内存分配策略等方面的工作。 ---