import org.apache.spark.SparkContext import org.apache.spark.SparkConf object Student { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local") val sc = new SparkContext(conf) val arr1=Array(("bj",88),("sh",67),("gz",92)) val arr2=Array(("bj",94),("sh",85),("gz",95)) val arr3=Array(("bj",72),("sh",69),("gz",98)) /********** begin **********/ //第一步：先将数组进行合并 //第二步：创建RDD //第三步：把相同key的进行聚合 //第四步：输出 /********** end **********/ sc.stop() } }

### Apache Spark 中合并数组并进行 RDD 聚合的代码实现 在 Apache Spark 的 RDD 编程模型中，可以利用 `flatMap` 或者 `map` 将多个数组展开为单一的数据流，并通过诸如 `aggregate`、`reduce` 等操作来执行聚合计算。以下是具体的实现方式： #### 展开数组并通过 `flatMap` 合并 假设我们有如下输入数据： ```java List<List<Integer>> data = Arrays.asList( Arrays.asList(1, 2, 3), Arrays.asList(4, 5, 6), Arrays.asList(7, 8, 9) ); JavaRDD<List<Integer>> rdd = javaSparkContext.parallelize(data); ``` 我们可以使用 `flatMap` 方法将嵌套列表展平为单个元素组成的 RDD。 ```java JavaRDD<Integer> flattenedRdd = rdd.flatMap(list -> list.iterator()); System.out.println(flattenedRdd.collect()); // 输出: [1, 2, 3, 4, 5, 6, 7, 8, 9] ``` 此部分展示了如何通过 `flatMap` 操作将多维结构转化为一维结构[^1]。 #### 使用 `aggregate` 执行自定义聚合逻辑 为了进一步展示如何对上述展平后的 RDD 进行复杂聚合运算，下面是一个基于 `aggregate` 函数的例子。我们将统计所有数字之和以及总数量作为最终结果的一部分。 ```java Tuple2<Integer, Integer> zeroValue = new Tuple2<>(0, 0); Function<Tuple2<Integer, Integer>, Object[]> seqOp = (acc, num) -> { int sum = acc._1 + ((Integer)num); int count = acc._2 + 1; return new Object[]{sum, count}; }; Function2<Tuple2<Integer, Integer>, Tuple2<Integer, Integer>, Tuple2<Integer, Integer>> combOp = (a, b) -> new Tuple2<>(a._1 + b._1, a._2 + b._2); Tuple2<Integer, Integer> result = flattenedRdd.aggregate(zeroValue, seqOp::apply, combOp); double average = (double)result._1 / result._2; System.out.printf("Sum=%d, Count=%d, Average=%.2f%n", result._1, result._2, average); // 假设输入为 [1..9]，则输出 Sum=45, Count=9, Average=5.00 ``` 这里解释了几个重要概念： - 初始值 (`zeroValue`) 设置了一个元组 `(0, 0)` 表示初始状态下的累积器。 - 序列化操作符 (`seqOp`) 定义了当遇到每一个新元素时应更新的状态。 - 组合操作符 (`combOp`) 描述了不同分区之间如何合并它们各自的局部累加结果[^2]。 #### 结果还原与映射回原始键空间 如果需要保持某些特定形式的结果或者重新构建更复杂的对象，则可再次应用 `map()` 映射函数调整输出格式。例如，如果我们希望得到的是每项及其在整个集合中的占比比例： ```java JavaPairRDD<Integer, Double> ratioRdd = flattenedRdd.mapToPair(num -> new Tuple2<>((Integer)num, (double)(int)num / totalSum)); ratioRdd.foreach(tuple -> System.out.println(tuple._1 + ": " + tuple._2)); ``` 以上片段说明了如何灵活运用各种转换算子完成从简单数值处理到更加高级的应用场景转变[^4]。 --- ###