
大数据
茄子的测试学习笔记
一步一步往上爬~
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
第七章 mapreduce编程实践-文件合并与去重
编程实现文件合并和去重操作 对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。 目标:原始数据中出现次数超过一次的数据在输出文件中只出现一次。 算法思想:根据reduce的过程特性,会自动根据key来计算输入的value集合,把数据作为key输出给reduce,无论这个...原创 2019-01-10 15:57:08 · 23322 阅读 · 1 评论 -
第七章mapreduce实践1- wordcount 字符计数
package org.apache.hadoop.examples; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs....原创 2019-01-10 11:31:15 · 392 阅读 · 0 评论