flinkcdc采集tidb数据乱码

### Flink CDC 采集 TiDB 数据时出现乱码的解决方案 当遇到 Flink CDC 采集 TiDB 数据过程中出现乱码的情况，通常是因为字符编码设置不一致所引起的。为了确保数据能够被正确读取和处理，需要确认几个关键配置项。 #### 确认数据库端字符集设置 首先应当检查 TiDB 实例中的默认字符集以及表级别的字符集定义是否统一。可以通过执行 SQL 查询来获取当前会话或全局范围内的字符集参数： ```sql SHOW VARIABLES LIKE 'character_set%'; ``` 这一步骤有助于了解是否存在不同组件间字符集差异的问题[^1]。 #### 配置 Flink 应用程序字符编码选项 接着，在构建 Flink 流应用程序时，需指定正确的输入/输出流编码方式。对于使用 `Debezium` 或其他基于 JSON 格式的变更事件捕获机制来说，默认情况下它们是以 UTF-8 编码传输消息体内容给下游系统的。因此建议显式声明连接属性以匹配源端的数据表示形式： ```java Properties props = new Properties(); props.setProperty("database.server.name", "mydb"); // 设置合适的字符集名称 props.setProperty("database.history.kafka.topic.auto.create", "true"); props.setProperty("key.converter.schemas.enable", "false"); props.setProperty("value.converter.schemas.enable", "false"); String url = String.format("jdbc:mysql://%s:%d/?useUnicode=true&characterEncoding=UTF-8", hostname, port); JdbcSource<T> source = JdbcSource.<T>builder() .setDriverName(driverClassName) .setDbUrl(url) .setTableName(tableName) .build(); ``` 上述代码片段展示了如何通过 JDBC URL 参数的方式强制指定了 Unicode 及其具体编码格式为 UTF-8 来避免潜在的乱码现象发生[^2]。 #### 调整 Debezium Connector 属性 如果采用的是官方提供的 TiDB CDC 连接器，则可以尝试调整如下所示的相关配置项，从而更好地控制序列化过程并减少因编码问题引发的数据损坏风险： ```yaml name: my-tidb-cdc-connector config: connector.class: io.debezium.connector.tidb.TiDBConnector database.hostname: localhost database.port: 4000 database.user: root database.password: password # 明确指出要使用的字符集 database.dbname: test_db table.include.list: test_table key.converter: org.apache.kafka.connect.json.JsonConverter value.converter: org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable: false value.converter.schemas.enable: false include.schema.changes: true decimal.handling.mode: string time.precision.mode: connect character.encoding: utf8mb4 ``` 这里特别注意设置了 `character.encoding=utf8mb4` ，这是为了让 Kafka Connect 插件能够在内部操作期间维持与上游 TiDB 表结构相吻合的文字表达能力。 ---