Spark解决task任务运行时间过长

原创于 2019-04-18 14:21:39 发布 · 1w 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#speculation

Spark 专栏收录该内容

28 篇文章

订阅专栏

本文介绍了一种通过调整Spark配置参数来解决长时间运行任务的方法，包括启用推测执行、设置检测周期、启动推测阈值和慢速任务倍数，旨在提高Spark作业的整体性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天补数据的时候，发现突然任务运行时间比以往过长。
查看运行状态，发现有一个task运行过长。

解决方法，开启spark.speculation，配置如下：

spark.speculation true
spark.speculation.interval 100：检测周期，单位毫秒；
spark.speculation.quantile 0.75：完成task的百分比时启动推测；
spark.speculation.multiplier 1.5：比其他的慢多少倍时启动推测。

具体参数根据时间测试情况，一般不建议设置，会影响性能。
但是如果是写数据，不要使用推测机制，会出现重复写机制。