Flink 新加source后 发布前需要修改checkpoint的namspace/报错：作业拓扑发生改变，无法使用现有Checkpoint

已于 2022-05-21 13:49:03 修改
阅读量485 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： flink 大数据 big data
于 2022-05-21 13:48:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010002184/article/details/124897312
在Flink作业中，原本的source是source_a和source_b的union，新增加了source_c后，导致作业拓扑改变。这引发了错误：'作业拓扑发生改变，无法使用现有Checkpoint'。在进行Checkpoint时，系统检查到变化，不允许使用旧的Checkpoint。需要调整设置或重新初始化Checkpoint来解决此问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

之前是：

source_a union all source_b ；

新加source_c:

source_a union all source_b union all source_c；

会报错：

Flink任务Checkpoint检查

报错：作业拓扑发生改变，无法使用现有Checkpoint
Checkpoint verification error: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Failed to execute sql


 

【FLink】Flink checkpoint 实现数据连续计算 恢复机制 拓扑图 变化 如何处理
九师兄
08-01 392
1.概述 本博客是视频：Apache Flink 知其然，知其所以然（原理&实战） 的笔记。 改部分主要讲解了，当流任务失败后恢复，拓扑图改变了，这种情况下该怎么恢复checkpoint。 看到这个图，可以看到数据2个sink变成了一个。 2. 案例 2.1 普通业务 1.修改flink配置，实现本地集群，配置好检查点等信息，代码如下 public class TopologyChanges { public static void main(String[] args) throws.
【Flink】Flink 反压机制 导致checkpoint 失败
九师兄
11-20 1863
1.概述 转载：flink检查点checkpoint失败问题总结-2 问题描述：检查点刚开始是可以的做checkpoint的，后期越来越不能够做checkpoint的情况总结 2.反压问题 2.1 什么是反压(如下图1所示)？ 图2-1 部分算子反压表现（web ui） 2.2.flink中反压机制是干什么的？ ​ flink中的反压机制是flink中由于个别算子接收receive数据的速度远大于处理完成数据的速度，数据在算子接收之前的数据积压（在buffer缓冲区），过多的数据积压时反压导致上游的算.
flink之checkpoint、savepoint，Flink计算发布之后是否还能够修改计算算子？(指状态恢复)
qq_44962429的博客
01-20 1004
1、chekpoint、savepoint CheckPoint是Flink实现故障容错的一种机制，系统会根据配置的检查点定期自动对程序计算状态进行备份。一旦程序在计算过程中出现故障，系统会选择一个最近的检查点进行故障恢复。 SavePoint是一种有效的运维手段，需要用户手动触发程序进行状态备份，本质也是在做CheckPoint。 ./bin/flink cancel -m centos:8081 -s hdfs:///savepoints f21795e74312eb06fbf0d48cb8d90489
flink的历史checkpoint点不可用的测试
sunlang的博客
01-14 333
程序升级，代码修改，重构，bug修复等等，当你的代码修改后，什么情况下会导致历史ck不可用? 一，job graph变化会导致不可用 例如注释掉流的print，print实际上是sink
聊聊flink的MemCheckpointStreamFactory
weixin_34279061的博客
12-14 349
序 本文主要研究一下flink的MemCheckpointStreamFactory CheckpointStreamFactory flink-runtime_2.11-1.7.0-sources.jar!/org/apache/flink/runtime/state/CheckpointStreamFactory.java /** * A factory for checkpoint out...
Apache Flink 实时计算-深入理解 Checkpoint和Savepoint
专注大数据、实时计算、程序员成长、经验分享和排坑经历
02-25 1453
本文没有过多的讲述源码，考虑大家的都能够读懂，其语言竟可能通俗一一点。如果有需要改进的地方，希望大家能够指出。后续我会不断的和大家一起大数据相关的技术，和大家一起交流学习。
Flink源码分析(10)Flink Checkpoint源码分析
最新发布
道可道非常道
04-28 827
​ 以上内容就是Flink Checkpoint源码调用流程，理解Checkpoint原理对于理解Flink应用具有较大的帮助，以上内容由本人追踪源码理解，有误欢迎指正。对于某个checkpoint，当接收到所有operator的确认消息之时，发送消息通知各个operator，checkpoint已完成。**triggerCheckpoint()**是一个重要的节点方法，通过调用。从这里开始，与从构建Dispatcher调用链结合到一起了，即代码。保存已完成和正在进行中的checkpoint的相关信息。
Flink 检查点（Checkpoint）
qq_42575907的博客
09-16 3438
​ 发生故障之后怎么办？最简单的想法当然是重启机器、重启应用。这里的问题在于，流处理应用中的任务都是有状态的，而为了快速访问这些状态一般会直接放在堆内存里；现在重启应用，内存中的状态已经丢失，就意味着之前的计算全部白费了，需要从头来过。就像编写文档或是玩 RPG 游戏，因为宕机没保存而要重来一遍是一件令人崩溃的事情；所以就有了存档，这样即使遇到宕机也可以读档继续了。​ 在流处理中，我们同样可以用存档读档的思路，把之前的计算结果做个保存，这样重启之后就可以继续处理新数据、而不需要重新计算了。进一步地，我们
Flink状态容错savepoint与checkpoint
大数据技术派
01-02 1446
本文目录CheckpointsState BackendsSavepointsCheckpoints 与 Savepoints区别Flink可以保证exactly once，与其容错机制checkpoint和savepoint分不开的。本文主要讲解两者的机制与使用，同时会对比两者的区别。CheckpointsCheckpoint 使 Flink 的状态具有良好的容错性，通过 checkpoint ...
flink 检查点（checkpoint）配置与使用
Aspirin's Nest
12-01 1万+
前言 之前文章有讲过flink的有状态算子。有状态算子就是讲算子产生的中间结果存储在Flink的一些内存数据结构中，比如ValueState、MapState等等。这可以算一种计算机制。比如对流中的某个字段进行累加，我们必须要保存累加的中间结果，下一个事件才能知道加谁。 但是距离容灾还差一段距离。比如job失败了，程序都没有了，内存中也就没有状态数据了。这时候就需要检查点了。所以，检查点就是定期保存任务状态的机制。但是状态又保存到哪里了呢？之前说过的状态后端。 检查点是用于错误恢复的，但这是有条件的：
Flink Checkpoint 问题排查实用指南
阿里云云栖号
09-17 4391
在 Flink 中，状态可靠性保证由 Checkpoint 支持，当作业出现 failover 的情况下，Flink 会从最近成功的 Checkpoint 恢复。在实际情况中，我们可能会遇到 Checkpoint 失败，或者 Checkpoint 慢的情况，本文会统一聊一聊 Flink 中 Checkpoint 异常的情况（包括失败和慢），以及可能的原因和排查思路。 1. Checkpoint ...
记一次Flink修改源码操作的大坑
东城庞太师
11-10 2526
背景： 为了适配flinkSQL连接clickhouse，修改flink-connector-jdbc_2.11-1.12.4.jar 添加clickhouse的信息。 因为有依赖关系，修改源码时报错，就把flink-table-common-1.12.4.jar放到jdk的\jdk\jre\lib\ext下面。（此处埋下隐患：忘了这回事了，坑了一天！！） 改完源码，打包，替换到项目里，运行，报错：各种找不到类。 网上尝试的所有方法都试过了，还是不行。 替换为原来的包，运行还是报错。 最后把程
Flink 从checkpoint恢复，并行度改变后，状态重分配
wppwpp1的专栏
12-02 2026
前提： 当Flink左右从checkpoint恢复，或者从savepoint中重启的时候，就回涉及到状态的重新分配，尤其是当并行度发生改变的时候。 本文只是说了Operator State和Key State恢复时的策略。如果只是想要使用，那么可以移步笔者的另一篇文章 ： Flink SavePoint(checkpoint)的使用与从中恢复 Operator State Redistribute 当operator改变并行度的时候(Rescale),会触发状态的Redistribute，即O.
空0019
Direction_Wind的博客
01-06 3806
19。
Flink checkpoint恢复疑问【未解决】
ChengYanan的博客
03-08 381
问题描述 请问下，如果我代码逻辑有变动了，可以从历史的checkpoint恢复吗？ 我试了下，从历史的checkpoints恢复的话，并没有执行我的修改后的逻辑， 例如原来逻辑是 where flag=1 改为：where flag>1 ，从9点30的checkpoint ：chk100 恢复，是不是 where flag>1 的逻辑只会对9点30后的数据生效呢？ 问题解答 ...
加载checkpoint问题
weixin_30807677的博客
08-12 933
加载checkpoint文件时，报错 tensorflow.python.framework.errors_impl.NotFoundError: /home/xzw/models/research/object_detection/remove_coach/runs/1555550450/checkpoints; No such file or directory ...
HDFS中的checkpoint（ 检查点 ）的问题
weixin_30352191的博客
08-05 1598
1、问题的描述 由于某种原因，需要在原来已经部署了Cloudera CDH集群上重新部署，重新部署之后，启动集群，由于Cloudera Manager 会默认设置dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是1个小时和1000000。只要达到这两个条件之一，secondarynamenode会执行checkp...
flink检查点checkpoint失败问题总结-2
热门推荐
fct2001140269的博客
03-21 1万+
检查点checkpoint失败问题总结(2)： 问题描述：检查点刚开始是可以的做checkpoint的，后期越来越不能够做checkpoint的情况总结： 一.反压问题 1.什么是反压(如下图1所示)？ 图2-1 部分算子反压表现（web ui） 2.flink中反压机制是干什么的？ ​ flink中的反压机制是flink中由于个别算子接收receive数据的速度远大于处理完成数据的速度...
Checkpoint的问题总结
L13763338360的博客
06-08 4268
Checkpoint的原理 Flink checkpoint是一种容错恢复机制，保证 Flink 任务运行突然失败时，能够从最近 Checkpoint 进行状态恢复启动，进行错误容忍，是在Chandy–Lamport算法的基础上实现的一种分布式快照算法，其内部使用分布式数据流轻量级异步快照。 Checkpoint流程 JobManager触发checkpoint Source 收到 trigger checkpoint，自己开始做 snapshot，并往下游发送 barrier 下游接收 barr
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二十六画生的博客

你的鼓励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值