idea完成Hadoop·期末结课作业

### 使用 IntelliJ IDEA 完成 Hadoop 期末项目的实例教程 #### 准备工作 为了顺利开展基于 Hadoop 的项目，在开始编码之前需做好一系列准备工作。确保已正确安装并配置好 Java 开发环境以及 Hadoop 环境变量[^1]。 #### 创建 Maven 工程 启动 IntelliJ IDEA 后，通过 `File -> New Project` 来创建一个新的 Maven 项目。选择合适的 SDK 版本，并勾选 "Create from archetype" 选项以便于后续引入必要的依赖库[^3]。 #### 添加 Hadoop 依赖 编辑 `pom.xml` 文件以加入 Hadoop 相关的依赖项： ```xml <dependencies> <!-- Hadoop Core --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop.version}</version> </dependency> <!-- Other dependencies as needed... --> </dependencies> ``` 这里 `${hadoop.version}` 应替换为实际使用的 Hadoop 版本号[^2]。 #### 编写 MapReduce 程序 下面是一个简单的 WordCount 示例代码片段展示如何实现基本的数据处理逻辑： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } } ``` 此段代码实现了经典的单词计数功能，适用于教学目的下的练习和理解。 #### 配置日志记录器 对于调试用途来说，调整日志级别有助于更好地跟踪程序执行情况。可以通过修改 `log4j.properties` 或者其他形式的日志配置文件来达到这一目标[^5]。 ---