Dinky项目数据源管理功能详解

Dinky项目数据源管理功能详解

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

概述

数据源管理是Dinky项目中的核心功能模块之一，它为数据开发人员提供了统一的数据源配置和管理平台。本文将全面介绍Dinky数据源管理的各项功能和使用方法，帮助用户高效地配置和使用各类数据源。

数据源管理功能简介

Dinky的数据源管理模块主要提供以下核心功能：

1. 数据源创建与配置：支持多种主流数据库的连接配置
2. 元数据查看：直观展示数据库表结构和数据
3. Flink DDL自动生成：简化FlinkSQL开发流程
4. 安全机制：引用检查和敏感信息保护

目前支持的数据源类型包括：MySQL、Oracle、PostgreSQL、SQLServer、Phoenix、ClickHouse、Doris、StartRocks、Presto、Hive等主流数据库。

数据源创建详解

创建步骤

1. 进入注册中心 > 数据源管理
2. 点击"新建"按钮
3. 填写数据源配置信息
4. 测试连接
5. 保存配置

关键配置参数说明

| 参数名称 | 说明 | 注意事项 | |---------|------|---------| | 名称 | 数据源唯一标识 | 建议使用英文全小写，不超过20字符 | | 分组类型 | 数据源分类 | 可选来源、数仓、应用等分类 | | 数据源类型 | 数据库类型 | 根据实际数据库选择对应类型 | | URL | 数据库连接地址 | 输入时可触发常用URL示例 | | 用户名/密码 | 数据库认证信息 | 确保有足够权限 | | Flink连接配置 | 全局连接参数 | 可用于敏感信息保护 | | Flink连接模板 | DDL生成模板 | 支持动态变量 |

Flink集成功能

Flink连接配置

这一功能主要用于：

1. 敏感信息保护：避免在SQL中直接暴露密码等敏感信息
2. 全局变量复用：可在多个作业中复用相同配置

使用方法：在FlinkSQL中使用${数据源名称}引用配置，例如${MySQL}。

Flink连接模板

连接模板用于自动生成FlinkSQL DDL语句，主要特点：

1. 动态变量支持：使用#{schemaName}和#{tableName}动态获取库表名
2. 参数预设：预先配置常用连接参数，减少重复工作

模板配置示例

'connector' = 'mysql-cdc'
,'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'database-name' = '#{schemaName}'
,'table-name' = '#{tableName}'

元数据管理功能

Dinky提供了直观的元数据查看界面：

1. 表结构查看：展示表的字段、类型等元信息
2. 数据预览：可直接查询表数据
3. 快速导航：通过点击数据源Logo快速进入详情页

版本兼容性说明

在Dinky 1.0.0版本中，对动态变量格式进行了优化：

• 旧版本：${schemaName}和${tableName}
• 新版本：#{schemaName}和#{tableName}

这一变更主要是为了避免与全局变量冲突，同时使整库同步场景也能支持全局变量。

最佳实践建议

1. 命名规范：数据源名称使用有意义的英文全小写
2. 连接测试：创建后务必进行连接测试
3. 模板利用：合理配置Flink连接模板提高开发效率
4. 安全配置：敏感信息尽量使用Flink连接配置保护
5. 版本注意：使用ClickHouse时推荐0.3.2+版本驱动

总结

Dinky的数据源管理功能为数据开发提供了便捷的统一入口，通过合理的配置可以显著提高开发效率，同时保障数据安全。特别是与Flink的深度集成，使得从数据源配置到流处理作业开发形成了完整的工作流。

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky