MapReduce - 词频统计

最新推荐文章于 2025-05-14 09:30:00 发布

leoxry

最新推荐文章于 2025-05-14 09:30:00 发布

阅读量1k

点赞数 1

分类专栏： Hadoop 文章标签： MapReduce 词频统计

本文链接：https://blog.csdn.net/BlessingXRY/article/details/100363213

版权

这篇博客详细介绍了如何利用IDEA的Maven构建工具，执行MapReduce任务来统计文本的词频。首先，通过clean和install命令打包项目。接着，将生成的jar文件上传到Hadoop服务器。然后，通过Hadoop命令运行jar包，并最终在Hadoop集群上查看到如‘Dream:1’, ‘Hello:2’等词频统计结果。" 118739352,11016117,Python学习：随机数与列表操作实践,"['Python编程', '数据操作', '随机数生成', '列表方法']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

统计一个文本的词频

package Test01;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class WordCount {
    public static void main(String[] args){
        try{
            //获取配置对象
            Configuration conf = new Configuration();
            //对conf设置
            //获取job
            Job job = Job.getInstance(conf, "WordCount02");
            //对job设置运行主类
            job.setJarByClass(WordCount.class);
            //对job的map端属性设置
            job.setMapperClass(MyMapper.class);
            job.setMapOutputKeyClass(Text.class);

最低0.47元/天解锁文章