Hadoop那些事儿（二）---MapReduce开发环境搭建

上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境，这篇文章主要为MapReduce开发环境的搭建流程。

1.HDFS伪分布式配置

使用MapReduce时，如果需要与HDFS建立连接，及使用HDFS中的文件，还需要做一些配置。
首先进入Hadoop的安装目录

cd /usr/local/hadoop/hadoop2

在HDFS中创建用户目录

./bin/hdfs dfs -mkdir -p /user/hadoop

创建input目录，并将./etc/hadoop中的xml文件复制到分布式文件系统中

./bin/hdfs dfs -mkdir input 
./bin/hdfs dfs -put ./etc/Hadoop/*.xml input

复制完成后，可以使用下面命令查看文件列表

./bin/hdfs dfs -ls input

2.开发环境搭建

1.1 调整虚拟机内存为2G+

1.2 eclipse linux版本下载
下载地址：http://www.eclipse.org/downloads/packages/eclipse-ide-java-ee-developers/neon2
我下载的文件为：eclipse-jee-neon-2-linux-gtk-x86_64.tar.gz

1.3 为hadoop用户分配opt文件夹的操作权限

sudo chown hadoop /opt
sudo chmod -R 777 /opt

1.4 将下载的文件拷贝到opt文件夹下
1.5 解压(解压后文件夹名为eclipse)

cd /opt
sudo tar -zxf eclipse-jee-neon-2-linux-gtk-x86_64.tar.gz

1.6 下载eclispe的Hadoop插件(hadoop-eclipse-plugin-2.6.0.jar)
1.7 为hadoop用户分配eclipse文件夹的权限