Flink 状态管理与容错

有状态计算

state 是存储在内存中的。

使用外部存储会存在的问题？

• 频繁的网络 IO
• 算子中间会存在 Blocking，资源利用率下降

自己实现中间状态存储会存在的问题？以及如何解决？

• 系统宕机，中间状态数据的丢失
• 内存或者磁盘大小有限
• 数据一致性

解决：每隔一段时间刷新到磁盘或者外部存储介质上。

状态类型与应用

状态应用场景

• 去重
• 窗口计算的中间结果的存储
• 机器学习，深度学习等
• 历史数据获取
  
  Keyed State 是针对于每一个 Key 都存储一份 state 数据，而 Operator State 是针对于一个算子整体存储一份数据。
  
• 两者区别：
  

CheckPoint 实现原理

作用：其实就是持久化

作用：其实就是持久化

1. Job manager 会使用 CheckPoint coordinator 向所有 source 节点触发 barrier 事件。
2. 依次广播 barrier 事件 ，并将自己的状态持久化
3. 当每个 task 完成备份后，会将备份数据的地址通知给 CheckPoint coordinator

SavePoint 实现原理（特殊的CheckPoint）

• checkPoint 的目标：意外崩溃重启的保证，配合重启策略使用。
• SavePoint 的目标：人工作业起停。
  

两个 point 都基于状态运行。

反压机制