Spark 1.6提供新的状态更新函数【mapWithState】,mapWithState函数也会统计全局的key的状态,但是如果没有数据输入,便不会返回之前的key的状态,只是关心那些已经发生的变化的key,对于没有数据输入,则不会返回那些没有变化的key的数据。
这样的话,即使数据量很大,checkpoint也不会像updateStateByKey那样,占用太多的存储,效率比较高;
需要构建StateSpec对象,对状态State进行封装,可以进行相关操作,类的声明定义如下:
状态函数【mapWithState】参数相关说明:
Spark(41) -- SparkStreaming -- mapWithState函数(状态更新函数,返回变化的数据)
最新推荐文章于 2025-05-13 23:20:32 发布