eclipse中安装hadoop插件实现词频统计

eclipse中安装hadoop插件实现词频统计

我使用的hadoop和插件都是2.8.3.我之前安装过的过2.9.1，但是苦于没有插件，又不想自己编译，只好更换版本了。

一、插件配置

1. 将jar包放入eclipse的plugins目录中，打开eclipse

2.在windows>preferences下可看见hadoop Map/Reduce界面，路径选择hadoop解压后的路径。

3.选择Windows->show view->others下的MapReduce Locations

4.新建一个配置

在eclipse界面中最下面一栏，选择Map/Reduce Location，在空白位置鼠标右击，选择new hadoop location 。这里我已经建好一个，所以有显示。

5.修改配置

若是50030那个参数为设置，则可以使用默认的50070端口。
user name是拥有hadoop的用户，我使用的是root

6.选择连接

连接正常的话不会报任何错。
如果发生错误，从两方面来考虑：①hadoop的插件是否是正确能用的，②配置是否发生错误。

二、实现词频统计

1.源码

import java.io.IOException; 
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IntWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.