通过 Flink CDC CLI 提交任务：整库同步 MySQL 到 Doris

Apache Flink 是一款流处理框架，Flink CDC（Change Data Capture）是 Flink 提供的一个开源工具，它可以实时捕获数据库（如 MySQL）中的数据变更并将这些变更流式地传输到其他系统中（如 Doris）。通过 Flink CDC，可以实现从 MySQL 到 Doris 的数据同步。

本文将详细讲解如何通过 Flink CDC CLI 提交任务，实现整库同步 MySQL 到 Doris。我们将展示详细的配置和代码。

前提条件

• Flink 集群：确保 Flink 集群已经搭建完成。
• Doris 集群：确保 Doris 集群已经搭建完成。
• MySQL 数据库：需要从 MySQL 中同步数据。
• Flink CDC jar 包：确保下载并配置了 Flink CDC 的相关 jar 包。

步骤概览

1. 配置 Flink CDC 连接器。
2. 编写 Flink CDC 作业代码。
3. 提交 Flink CDC 任务到 Flink 集群。
4. 监控任务执行。

1. 配置 Flink CDC 连接器

首先，需要在 Flink 配置文件中添加 Flink CDC 相关的连接器。Flink CDC 提供了 MySQL 和 Doris 的连接器，确保将相关的连接器 jar 包放到 Flink 集群的 lib 目录中。

下载 Flink CDC 依赖

你可以从 Flink CDC 官方 GitHub 下载适合的版本。

在项目中使用 Maven 来集成依赖：

<dependency>
    <groupId>com.ververica</groupId>
    <artifactId>flink-connector-mysql-cdc</artifactId>
    <version>2.0.0</version>
</dependency>

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-doris</artifactId>
    <version>1.13.0</version>
</dependency>

2. 编写 Flink CDC 作业代码

通过 Flink CDC，你可以实现 MySQL 数据库到 Doris 的整库同步。Flink CDC 会捕获 MySQL 数据库的增量变化（如 INSERT、UPDATE、DELETE 操作），并将这些变化实时地推送到 Doris。

以下是一个简单的 Flink CDC 作业，展示如何将 MySQL 数据库的变更同步到 Doris：

MySQL 到 Doris 的同步代码

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.doris.DorisSink;
import org.apache.flink.streaming.connectors.mysql.MySQLSource;
import org.apache.flink.streaming.connectors.mysql.table.MySQLTab