本文介绍了一种使用JavaPairRDD处理产品配对数据的方法，通过mapToPair将输入数据转换为<Tuple2<String,String>,Integer>格式，并设置每个配对的初始计数值为1，然后利用reduceByKey操作来聚合相同配对的数据并计算总和。
JavaPairRDD<Tuple2<String, String>, Integer> productPairCount = productPairSS.mapToPair(
new PairFunction<Tuple2<String, String>, Tuple2<String, String>, Integer>(){
public Tuple2<Tuple2<String, String>, Integer> call(Tuple2<String, String> x){
return new Tuple2(x,1);
}
}
).reduceByKey(new Function2<Integer, Integer, Integer>(){
public Integer call(Integer x, Integer y){return x+y;}
});
new PairFunction<Tuple2<String, String>, Tuple2<String, String>, Integer>(){
public Tuple2<Tuple2<String, String>, Integer> call(Tuple2<String, String> x){
return new Tuple2(x,1);
}
}
).reduceByKey(new Function2<Integer, Integer, Integer>(){
public Integer call(Integer x, Integer y){return x+y;}
});
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
