超级会员免费看
本文详细介绍了数据仓库管理平台的数据开发流程，包括规范化流程、功能设计与实现，涵盖项目创建、指标与表管理、ETL开发、调试、调度配置以及一键发布和审核过程。通过工具化提升数据研发效率，实现开发测试和模型上线的自动化，同时确保数据表和指标的规范化创建。整个流程强调线上线下的环境隔离、数据开发协同以及高效的任务调度，旨在提供一套全面的数据研发解决方案。
《数据开发》
为提高数据研发的效率，数据平台提供了数据研发集成开发环境，通过对数据开发规范化流程制定，多引擎混编工作流支持等来提升在全域数据开发的自动化能力和执行效率。下面我们从数据开发规范化流程、功能设计和实现方式几个方面进行阐述：
一.数据开发规范化流程
在规范化章节中讲述的《研发流程规范》是从开始的需求提出到最终上线的一系列规范化流程，而这里的数据开发标准化流程是指通过工具化，将《研发流程规范》中“开发测试”和“模型上线”这两个环节提效，同时保证数据表和指标的规范化创建，设计的流程如下：
为了控制数据开发在同一套环境中导致的不可控风险，如由开发人员bug导致的集群资源占满从而影响其他核心业务问题等，我们对开发环境进行了线上和线下隔离，业务开发人员在线下环境进行数据的开发与调试，通过‘一键发布’功能将项目上线到线上环境中；
整个数据开发流程由业务开发人员和数据管理组人员协同完成。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
