mapreduce编程求平均数

### 使用MapReduce编程实现求平均数 在MapReduce框架下，计算平均值的过程涉及两个主要阶段：`Map` 和 `Reduce`。为了完成这一目标，通常会先通过映射函数处理输入数据集中的每一项记录，将其转换成键值对的形式；之后利用规约函数来聚合这些中间结果，并最终得到所需的统计数据。 #### Map 阶段 对于每一条输入的数据行，map 函数解析该条目并将它转化为一对或多对(key,value)，其中key可以是任意标识符（比如"average"），value则是具体的数值加上计数器1表示当前样本的数量。这样做的目的是为了让后续reduce过程能够区分不同类型的统计量以及累积次数信息[^2]。 ```java public class AverageMapper extends Mapper<LongWritable, Text, Text, IntSumPair> { private static final String AVG_KEY = "avg"; @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { int num = Integer.parseInt(value.toString()); context.write(new Text(AVG_KEY), new IntSumPair(num, 1)); } } ``` 这里定义了一个名为`IntSumPair`的类用于存储整型数值及其对应的权重或频次： ```java public class IntSumPair implements WritableComparable<IntSumPair> { private int sum; private int count; public IntSumPair() {} public IntSumPair(int sum, int count) { this.sum = sum; this.count = count; } // Getters and setters... @Override public void write(DataOutput out) throws IOException { out.writeInt(sum); out.writeInt(count); } @Override public void readFields(DataInput in) throws IOException { sum = in.readInt(); count = in.readInt(); } @Override public int compareTo(IntSumPair o) { return Double.compare((double)this.sum / this.count, (double)o.getSum() / o.getCount()); } } ``` #### Reduce 阶段 Reducer接收来自mapper发出的所有相同key关联起来的一系列values对象列表作为参数。在这个例子中，所有的value都具有相同的key `"avg"` ，因此reducer只需要遍历这个集合累加各个成员所携带的信息——即总数和个数，最后返回它们之间的比率作为整体均值。 ```java public class AverageReducer extends Reducer<Text, IntSumPair, Text, FloatWritable> { @Override protected void reduce(Text key, Iterable<IntSumPair> values, Context context) throws IOException, InterruptedException { int totalSum = 0; int totalCount = 0; for (IntSumPair val : values) { totalSum += val.getSum(); totalCount += val.getCount(); } float average = ((float)totalSum)/totalCount; context.write(key, new FloatWritable(average)); } } ``` 上述代码展示了如何构建一个简单的基于MapReduce架构的应用程序来进行大规模数据集中平均值得到高效计算。需要注意的是实际应用可能还需要考虑更多细节如异常情况下的健壮性等问题[^3]。