目录
1. Shuffle 是个啥？为什么它在 Spark 里这么重要？
2. Shuffle 的两大阶段：Map 端与 Reduce 端
3. Spark Shuffle 的两种实现：Sort-Based Shuffle
5. Shuffle 的优化神器：Combiner 与 Map-Side 聚合
8. Shuffle 与 Spark SQL：隐形的性能陷阱
9. Shuffle 监控与诊断：用 Spark UI 找到瓶颈
1. Shuffle 是个啥？为什么它在 Spark 里这么重要？
Spark 的核心魅力在于它的分布式计算能力，而 Shuffle 作为 Spark 分布式计算的“幕后英雄”，却是最容易被忽视又最容易翻车的环节。简单来说，Shuffle 是 Spark 在处理数据时，将数据从一个节点“洗牌”到另一个节点的过程。
想象一下，你在玩一副扑克牌，想把所有的红桃牌集中到一起，梅花牌分到另一堆。这需要把牌从原来的顺序打乱、重新分配。Spark 的 Shuffle 干的就是这种活儿：把数据按照某种规则（比如 key）重新分区，分发到不同的计算节点上，
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
