13、Pig 性能优化与 Python 嵌入使用指南

Pig 性能优化与 Python 嵌入使用指南

1. 优化 Pig 和 Hadoop 任务

1.1 选择合适的 Reducer 数量

启动和停止 Reduce 任务存在开销，并且随着并行度的增加，Shuffle 效率会降低。因此，选择比可用插槽更多的 Reducer 通常是低效的。实际上，最好指定比可访问插槽数量略少的 Reducer。这样可以为 MapReduce 重新启动一些失败的 Reducer 并进行推测执行留出空间，而不会使 Reduce 时间加倍。

1.2 处理数据倾斜

MapReduce 通常能很好地将键均匀分配给 Reducer，但每个键的记录数量往往差异很大。少数处理大量记录键的 Reducer 会显著落后于其他 Reducer，而 Pig 必须等待所有 Reducer 完成才能开始下一个 MapReduce 作业，因此最慢的 Reducer 决定了作业的时长。增加并行度并不能解决问题，反而会浪费集群资源，此时需要使用 Pig 的机制来处理倾斜。

1.3 编写高效的 UDF

Pig 有一些特性可以让聚合函数运行得更快：
- Algebraic 接口 ：允许 UDF 使用 Hadoop 的 Combiner。
- Accumulator 接口 ：允许 Pig 将记录集合分成几个集合，并分别将每个集合提供给 UDF，避免同时物化所有记录，减少磁盘溢出。

1.4 优化数据加载

Pig 可以告诉加载器需要哪些字段和映射中的哪些键，还可以下推某些类型的过滤器，以帮