Flink系列：Checkpoint使用方法

Checkpoint 在 Flink 中是一个非常重要的 Feature，Checkpoint 使 Flink 的状态具有良好的容错性，通过 Checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。 Checkpoint 介绍及使用 Flink 的 Checkpoint 有以下先决条件： 需要具有持久性且支持重放一定时间范围内数据的数据源。例如：Kafka、RabbitMQ ...

Apache Flink 进阶教程（三）：Checkpoint 的应用实践 2019年12月12日 作者 |唐云(茶干) 大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。首先讲一下 Checkpoint 与 state 的关系，然后介绍什么是 state，第三部分介绍如何在 Flink 中使用state，第四部分则介绍 Checkpoint 的执...

前言 之前文章有讲过flink的有状态算子。有状态算子就是讲算子产生的中间结果存储在Flink的一些内存数据结构中，比如ValueState、MapState等等。这可以算一种计算机制。比如对流中的某个字段进行累加，我们必须要保存累加的中间结果，下一个事件才能知道加谁。 但是距离容灾还差一段距离。比如job失败了，程序都没有了，内存中也就没有状态数据了。这时候就需要检查点了。所以，检查点就是定期保存任务状态的机制。但是状态又保存到哪里了呢？之前说过的状态后端。 检查点是用于错误恢复的，但这是有条件的：

快照点, 是Flink中所有有状态的Operator在某一个时刻的State快照信息/存档信息。一句话概括:Checkpoint就是State的快照。savePointcheckpoint自动完成state快照、savePoint是手动的完成快照。如果程序在没有设置checkpoint的情况，可以通过savePoint设置state快照有两种添加检查点的方式：1、在java代码中自动添加在执行任务时会在hdfs上创建检查点// 第一句：开启快照，每隔1s保存一次快照。

在使用 Flink 时， 我们基本都会用到 Checkpoint，也难免不会遇到 Checkpoint 慢或者失败等问题，本文介绍了 Checkpoint 问题排查的方法。

Checkpoint 是 Flink 的失败恢复机制，它的配置对于 Flink 应用程序的性能和稳定性有这至关重要的影响。

Flink系列：Savepoints使用方法 扩展 Flink系列：State Backend（状态后端）https://xdoctorx.blog.csdn.net/article/details/115792746 Flink系列：Savepoints与checkpoints区别https://xdoctorx.blog.csdn.net/article/details/106461649 Flink系列：Checkpoint使用方法https://xdoctorx.blog.cs...

项目中使用场景: 经过keyby hash 分组后，需要读取每个实例中的state数据，并且还要支持checkpoint防止数据丢失，和算子scale后state数据的重新分配 第一步：实现CheckpointedFunction @Override public void snapshotState(FunctionSnapshotContext context) throws Exception { checkpointedState.clear(); ...

Flink CheckPoint配置储存方式StateBackend 配置储存方式StateBackend 优先选择程序里的配置，第二选择是配置文件里的配置，第三选择是默认MemoryStateBackend 在配置文件中可这样配置： state.backend ：filesystem/rocksdb/jobmanager,分别代表文件系统，flink自带的RocksDB，内存 ####实例化用...

转自大佬的博客： 感谢大佬 checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面 计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头到尾计算一遍,这样子就很费性能,当然我们可以将中间的计算结果通过cache或者persist放到内存或者磁盘中,但是这样也不能保证数据完...

flink stream file sink

flink Savepoint 和 Checkpoint 使用 checkpoint 应用定时触发，用于保存状态，会过期 内部应用失败重启的时候使用，特点是作业容错自动恢复，轻量，自动周期管理 savepoint 用户手动执行，是指向Checkpoint的指针，不会过期 在升级的情况下使用，特点关注状态数据可以移植性，状态数据生成和恢复成本高，用户手动管理 注意：为了能够在作业的不同版本之间以及 Flink 的不同版本之间顺利升级，强烈推荐程序员通过 uid(String) 方法手动的给

版本 flink 1.14.4 代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 启用 checkpoint,设置触发间隔（两次执行开始时间间隔） env.enableCheckpointing(3000); // 模式支持EXACTLY_ONCE()/AT_LEAST_ONCE() env.getCheckpointConfig().setCheckpointingMo

Flink默认不启用Checkpoint机制。一般在生产环境下，都需要开启Checkpoint机制，此时可以通过如下方式开启，并进行相关配置： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //每间隔2000ms进行CheckPoint env.enableCheckpointing(2000); //

第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。

Flink版本：1.11 Flink 中每个函数和算子都可以是有状态的。有状态函数在处理单个元素/事件时会存储数据。为了能够使状态可以容错，Flink 需要对状态进行 checkpoint。checkpoint 可以允许 Flink 在流中恢复状态以及消费位置。 1. 前提条件 Flink Checkpoint 机制可以与流和状态的持久化存储进行交互。一般来说，需要： 一个可持久化（或保存很长时间）的数据源：可以重新消费指定时间段的记录。持久化消息队列（例如，Apache Kafka，Rabbi.