本文介绍了使用Flink CDC将整库或多表数据同步到Kafka的两种方案：一是所有表数据写入一个Topic，二是每个表对应一个Topic。文中详细阐述了每种方案的优缺点，并提供了自定义格式添加数据库和表名的方法，以利于下游消费。同时，分享了如何处理写入Kafka后的数据格式，以及下游读取的策略。附带完整源码，帮助读者理解和实现这一方案。
 |
博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。 |
我们此前介绍的一些 CDC 开箱即用方案往往都是一张表对应一条独立的链路（作业），需要一个独立的数据库连接，在表数量很大的情况下，会对数据库造成很大压力，同时过多的 Flink 作业会不易于管理和维护，为众多小表创建大量的一对一采集作业也浪费了资源。此外，使用 Flink SQL 针对每张表定义 CDC 作业也是一项繁重的工作，如果能简化或省略编写大量 SQL 的工作也是一项重要的改进。所以，一种更为实用的
订阅专栏 解锁全文
扫一扫
1840
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
