大数据第一步-Mac安装Hadoop3

本文详细介绍了在Mac上安装Hadoop3.x的步骤,包括准备JDK8环境,设置SSH密钥,配置JAVA_HOME,安装Hadoop,配置Hadoop环境变量和配置文件,解决native库问题以及处理Datanode启动问题。过程中提到了遇到的错误及解决方法,如Datanode未启动时需删除特定文件夹后重启服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.安装工作

1.1 准备工作

前提是把jJDK8安装好,hadoop3.x最低需要jdk8。

然后打开共享把远程登陆打开,不打开说是后面会报错,

到终端输入命令:ssh localhost

生成新的keygen否则后面会报错 Permission denied 命令:ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  

注册关键字,命令为如下:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
 chmod 0600 ~/.ssh/authorized_keys

1.2 安装hadoop

安装hadoop,命令为我用的是brew,没有的话可以自行搜索先安装这个,很简单,然后安装Hadoop,命令为:brew install hadoop,如果出现如下的hadoop就代表安装好了,这里我安装了很多遍网不好的时候包下载不下来,选择wifi足的地方,哈哈哈!

此时可以在终端输入 :hadoop,我的jdk环境和hadoop没设置,报错如下ERROR: JAVA_HOME @@HOMEBREW_JAVA@@ does not exist.。 

1.3jdk环境配置

你安装了 JDK,你需要设置 JAVA_HOME 环境变量。在终端中输入以下命令来查找 JDK 的安装路径:命令为:/usr/libexec/java_home,我的路径如下:

编辑你的 ~/.bash_profile 文件,可以使用以下命令来打开该文件:命令为:vi ~/.bash_profile

在打开的文件中,添加以下行来设置 JAVA_HOME 环境变量(将路径替换为你自己的安装路径)

export JAVA_HOME=/Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home

保存并关闭文件。然后执行以下命令来使修改生效:命令为:source ~/.bash_profile

然后再执行hadoop ,不报这个错了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值