MapReduce 数据清洗（ETL）

最新推荐文章于 2025-05-07 09:27:26 发布

SuperQiu~

最新推荐文章于 2025-05-07 09:27:26 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： mapreduce etl hadoop

本文链接：https://blog.csdn.net/weixin_44966780/article/details/121720579

Hadoop 专栏收录该内容

41 篇文章

订阅专栏

本文介绍了使用MapReduce进行数据清洗的ETL过程，重点在于通过Mapper阶段过滤不符合要求的日志。示例中展示了如何编写WebLogMapper类，去除字段个数小于等于11的日志。此外，还提供了WebLogDriver类来配置和运行任务，确保只执行Map任务且不进行Reduce操作，从而实现数据预处理的目标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MapReduce 数据清洗（ETL）

“ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。
在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行 Mapper 程序，不需要运行 Reduce 程序。

案例
1）去除日志中字段个数小于等于 11 的日志。
2）需要在 Map 阶段对输入的数据根据规则进行过滤清洗。
写 WebLogMapper 类

package com.xiaoqiu.mapreduce.ETL;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @author 小邱
 * @version 0.0.1
 * @description WebLogMapper
 * @since 2021/12/4 19:47
 */
public class WebLogMapper extends Mapper<LongWritable, Text, Text, NullWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 1 获取 1 行数据
        String line = value.toString();
        // 2 解析日志
        boolean result = parseLog(line,context);
        // 3 日志不合法退出
        if (!result) {
            return;
        }
        // 4 日志合法就直接写出
        context.write(value, NullWritable.get());
    }
    // 2 封装解析日志的方法
    private boolean parseLog(String line, Context context) {
         // 1 截取
        String[] fields = line.split(" ");
        // 2 日志长度大于 11 的为合法
        if (fields.length > 11) {
            return true;
        }else {
            return false;
        }
    }
}

编写 WebLogDriver 类

package com.xiaoqiu.mapreduce.ETL;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * @author 小邱
 * @version 0.0.1
 * @description WebLogDriver
 * @since 2021/12/4 19:49
 */
public class WebLogDriver {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);
        // 2 加载 jar 包
        job.setJarByClass(WebLogDriver.class);
        // 3 关联 map
        job.setMapperClass(WebLogMapper.class);
        // 4 设置最终输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);
        // 设置 reducetask 个数为 0
        job.setNumReduceTasks(0);
        // 5 设置输入和输出路径
        FileInputFormat.setInputPaths(job, new Path("F:\\share\\input\\web.log"));
        FileOutputFormat.setOutputPath(job, new Path("F:\\share\\output"));
        // 6 提交
        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }

}