架构设计：数据平台调度系统从Azkaban 到 Apache DolphinScheduler的实践

Freedom3568

已于 2022-09-28 23:20:08 修改

阅读量729

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据技术栈架构设计文章标签：架构设计调度系统大数据 azkaban dolphinschedule

于 2022-07-08 16:04:39 首次发布

本文链接：https://blog.csdn.net/zhanggqianglovec/article/details/125679864

架构设计同时被 2 个专栏收录

159 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

大数据技术栈

38 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文分享了Fordeal数据平台从Azkaban迁移到Apache DolphinScheduler的实践经验，包括面临的问题、系统架构、详细实践、特性增强及未来规划。在实践中，为解决用户、技术和运维层面的问题，进行了内部系统对接、Azkaban兼容性改造、功能优化等，提升了用户体验和系统稳定性。未来，将继续跟进社区特性，完善数据同步和与其他系统连接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

简介

Fordeal 的数据平台调度系统之前是基于 Azkaban 进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal 数据平台新版系统决定基于 Apache DolphinScheduler 进行升级改造。那整个迁移过程中开发人员是如何让使用方平滑过渡到新系统，又做出了哪些努力呢？