mac搭建hadoop3.2.1——伪分布模式

1 homebrew安装

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安装完毕后使用brew doctor查看是否安装成功

2 设置ssh免密登录

因为hadoop中，在启动datanode、namenode时都需要免密登录，不设置，则会出现Permission denied的错误提示，导致无法启动DataNode。
设置免密登录：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

之后再使用ssh localhost命令，直接可以登录：

3 安装Hadoop

首先要在电脑中成功安装jdk，jdk的安装可以使用brew也可以去官网手动下载。这里使用jdk1.8，是一个比较通用的版本，安装成功后使用java -version命令查看版本：

然后使用brew命令进行Hadoop安装：

brew install hadoop

这个过程可能会比较慢，建议挂梯子，这里会自动安装Hadoop的新版本3.2.1。
如果install速度实在太慢考虑先替换homebrew镜像源，然后再安装Hadoop：

// 替换brew.git
cd "$(brew --repo)"
git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git

// 替换homebrew-core.git
cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"
git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git

更新.bash_profile：

echo 'export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.ustc.edu.cn/homebrew-bottles' >> ~/.bash_profile

source ~/.bash_profile

安装完毕：

输入hadoop命令检查一下安装是否成功（部分截图）：

4 伪分布式配置

首先要进入路径：/usr/local/Cellar/hadoop/3.2.1_1/libexec/etc/hadoop，文件的配置均在此路径下完成

a.hadoop-env.sh配置

打开该文件，找到以下位置：
<