zhixingheyi_tian的博客

https://spark.apache.org/docs/latest/monitoring.html#executor-task-metrics

【代码】Spark 之 DataFrame。

【代码】Spark ML 之 LSH。

【代码】Spark 之 like 表达式。

【代码】【无标题】

【代码】Spark Expression codegen。

【代码】Spark SQL 之 UT。

【代码】Spark Filter Pushdown。

【代码】Spark 之 Corner Cases。

【代码】Spark 之 QueryStage。

由上图可见， PlanSubqueries Rule 只是 PlanDynamicPruningFilters Rule 的 补充。针对 ListQuery场景的补充。对于 DPP 来讲，

因为 EnsureRequirements 排在 PlanDynamicPruningFilters 之后，所以在进行 PlanDynamicPruningFilters 时，还没有 exchange 相关算子。

【代码】Spark 之 QueryPlan。

【代码】Spark 之 Reuse。

如果一张表没有数据， 只会产生 jobs， 但不产生 stages。

【代码】Spark 之 Subquery。

AQE 的 循环触发点。

【代码】Spark 之 DataFrame 开发。

【代码】mysql 之 相关。

【代码】ICEBerg 之 相关。

之所以，最后将一个repartition， 是因为 Spark 最后的shuffle stage ， hash key 往往不是 最后 write 的分区key。shuffle partition ，按照新的 写分区列重新 hash ，shuffle， 然后再进行 coalesce。​分区组合数​：8 个 (from_cluster 和 ds 的组合)​总文件数​：200 × 8 = ​1600 个文件​。总文件数 = Task 数量 × 分区组合数。以下是一个单独例子。​Task 数量​：200。

HIVE_FILESOURCE_PARTITION_FILE_CACHE_SIZE 设置为 0 可以关闭 partition cache 功能。

【代码】SparkSQL 之。

【代码】Spark 之 expression。

【代码】Spark SQL 之 Analyzer。

【代码】Spark 之 Antlr。

【代码】SparkPlan 之 Explain。

【代码】Spark 之 metrics。

executor ID ， 在日志里也有体现。

对于spark on yarn，shuffle write是container写数据到本地磁盘(路径由core-site.xml中hadoop.tmp.dir指定)过程；shuffle read是container请求external shuffle服务获取数据过程，external shuffle是NodeManager进程中的一个服务，默认端口是7337，或者通过spark.shuffle.service.port指定。

【代码】Json 相关。

【代码】Spark event 解析。

【代码】Spark SQL 之 DAG。

【代码】Velox之 Spill。

1个计算 CU 的计算能力约等于1核 CPU 与4G 内存的服务计算能力：

https://github.com/apache/spark/pull/29916https://issues.apache.org/jira/browse/SPARK-33037

检查每个 executor 节点上， 是否都存在 jars。

spark

【代码】Spark eventlog。