马哈鱼SQLFLow数据血缘分析器增量分析血缘任务

最新推荐文章于 2024-12-18 09:57:30 发布

与衫

最新推荐文章于 2024-12-18 09:57:30 发布

阅读量861

点赞数 1

CC 4.0 BY-SA版权

分类专栏：数据血缘文章标签：数据库 sql mysql

44 篇文章

订阅专栏

本文介绍马哈鱼数据血缘分析器的增量分析功能，通过实例展示如何使用SQLFlow API进行数据血缘关系的分批增量分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

马哈鱼数据血缘分析器是一个分析数据血缘关系的平台，支持对大量复杂的数据快速准确的分析，支持分批增量分析血缘。

本文主要介绍如何利用马哈鱼增量分析任务。

登录sqlflow-api（SQLFLow接口文档），http://127.0.0.1:8081/gspLive_backend/doc.html?lang=en
搜索submitPersistJob接口
第一次提交JOB

需要改动的参数说明：

dbvendor：数据库类型，如:dbvhive,dbvmysql

userId：用户id，on premise version默认是gudu|0123456789

incremental：是否为增量JOB，true/false

firstSubmit：是否为第一次提交，true/false

jobName：job名称，需要保证唯一

sqlfiles：要分析的文件，多个文件可以压缩成zip

1，第一次分析

SQL：

CREATE TABLE table1(
	id int,
	name string);
    
insert into table1
(
	id,
  	name
)
select t.id,t.name from table2 t;

结果：
在这里插入图片描述

得到 table2 -> table1 的table level data lineage

2，第二次增量分析

SQL：

insert into table2
(
	id,
  	name
)
select t.table3_id,t.table3_name from table3 t;

结果：
在这里插入图片描述

得到增量分析后的结构：table3 -> table2 -> table1 的table level data lineage

3，第二次增量分析

SQL：

insert into table0
(
	table0_id,
  	table0_name
)
select t.id,t.name from table1 t;

结果：

在这里插入图片描述

得到增量分析后的结构：table3 -> table2 -> table1 -> table0 的table level data lineage

以上就是对马哈鱼SQLFLow增量分析血缘任务的操作步骤，后续马哈鱼会将此功能集成到UI中。关于马哈鱼的等多功能，请参考下面链接：