sparkstreaming控制消费速率_spark streaming 速率估算-CSDN博客

本文链接：https://blog.csdn.net/Java_Soldier/article/details/83384087

Spark 1.5引入反压机制，通过动态数据收集自动适配集群处理能力，解决数据堆积和资源利用率低的问题。RateController作为StreamingListener监听作业完成事件，估算并调整接收速率。用户可通过设置`spark.streaming.backpressure.enabled`为true启用该功能，并通过相关参数调整速率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

反压机制：
spark1.5以后，通过动态收集系统的一些数据来自动的适配集群数据处理能力
在默认情况下，Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候，也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长；越来越多的数据被接收，但是数据的处理速度没有跟上，导致系统开始出现数据堆积，可能进一步导致 Executor 端出现 OOM 问题而出现失败的情况。
而在 Spark 1.5 版本之前，为了解决这个问题，对于 Receiver-based 数据接收器，我们可以通过配置 spark.streaming.receiver.maxRate 参数来限制每个 receiver 每秒最大可以接收的记录的数据；对于 Direct Approach 的数据接收，我们可以通过配置 spark.streaming.kafka.maxRatePerPartition 参数来限制每次作业中每个 Kafka 分区最多读取的记录条数。这种方法虽然可以通过限制接收速率，来适配当前的处理能力，但这种方式存在以下几个问题：
● 我们需要事先估计好集群的处理速度以及消息数据的产生速度；
● 这两种方式需要人工参与，修改完相关参数之后，我们需要手动重启 Spark Streaming 应用程序；
● 如果当前集群的处理能力高于我们配置的 maxRate，而且 producer 产生的数据高于 maxRate，这会导致集群资源利用率低下，而且也会导致数据不能够及时处理。
● 那么有没有可能不需要人工干预，Spark Streaming 系统自动处理这些问题呢？当然有了