Ubuntu下Hadoop的单机安装

本文详细记录了在Ubuntu 20.04.3系统中安装Hadoop 2.7.1的全过程,包括更新apt、安装vim编辑器、配置无密码SSH、安装JDK 1.8、伪分布式搭建等步骤。通过这些步骤,你可以成功在Ubuntu环境下配置好Hadoop的单机运行环境。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        云计算实验中要求我们在Linux系统安装Hadoop,故来做一个简单的记录。

·  注:我的操作系统环境是Ubuntu-20.04.3,安装的JDK版本为jdk1.8.0_301,安装的Hadoop版本为hadoop2.7.1。(不确定其他版本是否会出现版本兼容问题)

Hadoop安装步骤如下:

        一、更新apt和安装vim编辑器

        二、配置本机无密码登录SSH

        三、安装JAVA环境

        四、下载安装Hadoop

        五、伪分布式搭建

一、更新apt和安装vim编辑器

1、更新apt

sudo apt-get update

2、安装vim编辑器

sudo apt-get install vim

apt更新和vim安装可能会有点慢,不用着急。


二、配置本机无密码登录SSH

1、先检查ssh是否已经安装启动【最好检查一下】

sudo ps -ef | grep ssh

2、Ubuntu默认已安装ssh客户端,此外还要安装ssh服务端

sudo apt-get install openssh-server

这里在安装服务端时没有进行截图。但是当时在做这一步时报错了。将最后的报错中的语句添加到这句命令末尾解决了该问题(如果遇到一样的状况可以试试)。

3、安装后登录SSH(首次登陆会有提示,按提示输入yes和用户密码就可以登录了)

ssh localhost

4、退出登录

exit

      设置无密码登录,使用ssh-keygen 生成密钥,并将密钥加入到授权中

cd ~/.ssh/
ssh-keygen -t rsa # 什么都不用输,根据提示一直按ENTER就行
cat ./id_rsa.pub >> ./authorized_keys

以上步骤完成后就可以无密码登录SSH了。


三、安装JAVA环境

1、安装JDK

我下载的是jdk1.8.0_301版本,在本机电脑中下载压缩包,将压缩包复制到/home/user【就是桌面上的文件夹】文件夹中,右键解压到当前位置。(就不用终端输命令来进行了)

——这里再说一下从本机复制粘贴的问题。

        想要复制粘贴就需要在VMware中安装VMware tools

### 安装 Hadoop 单机版并配置 HDFS #### 准备工作 在 Ubuntu安装 Hadoop单机模式之前,需要确保系统已准备好必要的依赖项。这通常包括 Java 开发工具包 (JDK),因为 Hadoop 是基于 Java 构建的。 可以通过以下命令来验证 JDK 是否已经安装: ```bash java -version ``` 如果未安装,则可以运行以下命令进行安装: ```bash sudo apt update && sudo apt install default-jdk ``` #### 下载和解压 Hadoop 软件包 为了下载指定版本的 Hadoop(例如 2.2.0),可执行如下命令[^4]: ```bash wget http://apache.mirrors.pair.com/hadoop/common/stable2/hadoop-2.2.0.tar.gz ``` 接着将其解压缩到目标目录中[^2]: ```bash mkdir ~/hadoop-installation cd ~/hadoop-installation tar -xzvf /path/to/downloaded/hadoop-2.2.0.tar.gz ln -s hadoop-2.2.0 hadoop export HADOOP_HOME=~/hadoop-installation/hadoop ``` #### 配置环境变量 编辑 `~/.bashrc` 文件并将以下内容追加至其中: ```bash export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::") export HADOOP_INSTALL=$HOME/hadoop-installation/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL source ~/.bashrc ``` #### 修改核心配置文件 进入 Hadoop 解压后的 `etc/hadoop/core-site.xml` 文件,并添加以下 XML 片段以定义本地文件系统的路径[^1]: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 对于 HDFS 配置 (`hdfs-site.xml`),需设置副本因子和其他参数: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` #### 启动 HDFS 和测试服务 完成上述配置后,初始化 NameNode 并启动 HDFS 服务: ```bash $HADOOP_HOME/bin/hdfs namenode -format $HADOOP_HOME/sbin/start-dfs.sh ``` 通过浏览器访问 Web UI 来确认状态是否正常:http://localhost:50070/ 停止服务时,可以使用以下脚本[^3]: ```bash $HADOOP_HOME/sbin/stop-dfs.sh ``` #### 使用 CLI MiniCluster 进行简化操作 作为另一种方法,用户也可以考虑利用内置的 CLI MiniCluster 功能快速部署单节点集群而无需手动调整多个配置选项[^5]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值