- 博客(616)
- 资源 (3)
- 问答 (29)
- 收藏
- 关注
RSS订阅
原创 数据平台调度升级改造 | 从Azkaban 平滑过度到Apache DolphinScheduler 的操作实践
Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造。...
2022-06-16 18:00:04
1082
原创 传统数据仓库正在被 Agentic AI 吞噬？Agentic Data Stack 初探
从技术架构的角度看，我认为这一次的AI浪潮将深刻影响整个软件生态。DSS 系统的设计是以人作为最终消费者的决策支持逻辑为中心，然而，随着 Agentic AI 时代来临，最终的“消费者”更可能是 agent，对数据仓库和复杂 ETL 链路将被重新设计，甚至消失。传统数据仓库偏重结构与查询模式，会被 Agentic Data Stack 架构强调语义与响应模式取代。
2025-06-13 15:16:23
654
原创 【生产实践】Dolphinscheduler集群部署后Web控制台不能登录的问题解决了!
Dolphinscheduler按生产手册使用一键脚本集群部署后，控制台登录页面可以打开，但使用默认账户怎么都登录不进去，尝试在数据库中清理登录用户字段，发现数据库中并没有相关用户字段，而后使用Dolphinscheduler初始化脚本建库时发现连接数据库失败。
2025-06-11 17:33:28
529
原创 博世智驾智能调度实践: 用DolphinScheduler构建下一代AI数据中台
今天的话题将聚焦于是博世在智能驾驶技术方面基于Apache DolphinScheduler的技术改造与业务应用。
2025-06-11 15:11:03
902
原创 全维度测试通过！DolphinScheduler 3.2.0单节点部署与验证实录
虽然本次测试显示3.2.0版本单节点部署在应用上完全可用，但社区仍推荐在生产场景中使用3.1.9版本，此版本更加稳定。
2025-06-05 16:38:45
690
原创 零风险操作！DolphinScheduler高可用架构下的无损扩缩容指南
Apache DolphinScheduler作为一款开源的分布式任务调度系统，在实际生产环境中经常需要根据业务需求对集群进行扩容或缩容操作。本文将详细介绍DolphinScheduler集群的扩容和缩容操作流程，帮助运维人员安全、高效地调整集群规模。
2025-06-05 16:36:40
235
原创 实战分享：DolphinScheduler 中 Shell 任务环境变量最佳配置方式
在使用 Apache DolphinScheduler 编排任务的过程中，Shell 类型任务是最常见的任务类型之一。然而，很多用户在实际使用中都会遇到一个看似简单却常常引发问题的问题——环境变量怎么设置才有效？
2025-05-27 18:03:59
702
原创 Apache DolphinScheduler存储系统详解| AI生成技术文档系列
Apache DolphinScheduler 的存储系统提供统一接口，支持跨多种存储后端（如本地文件系统、云存储）进行文件存取。其核心功能是管理工作流和任务所需的资源文件（如脚本、JAR包、配置文件），并通过抽象底层存储技术，实现无缝切换存储方案而无需修改应用代码。
2025-05-27 16:19:31
636
原创 第四期评选结果公示！Apache DolphinScheduler社区答疑Star揭晓
Apache DolphinScheduler社区答疑Star第四期评选活动圆满完成啦！
2025-05-23 15:33:18
326
原创 基于DolphinScheduler抽取通用EventBus组件：支持延迟与事件驱动
在Apache DolphinScheduler项目中，有一个eventbus的组件，这个组件写得挺好的，想着用在业务系统上，因此自己抽取了一下，拿到业务系统中来用。
2025-05-19 18:33:00
365
原创 升级遇到坑？一文带你搞定DolphinScheduler 2.0到3.0升级
因项目需要使用数据质量模块功能，可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上，此次选择测试了3.0.1 和 3.1.1 两个版本，对进行同数据等任务调度暂停等操作测试，最后选择3.0.1 版本。
2025-05-14 15:08:44
768
原创 Apache DolphinScheduler社区答疑Star第三期评选结果公示
Apache DolphinScheduler社区答疑Star第三期评选活动圆满完成啦！
2025-05-14 14:53:51
868
原创 HTTP接口数据也能定时同步入湖？用DolphinScheduler×SeaTunnel快速搞定！
我们之前曾评估使用过SeaTunnel做CDC入湖验证：SeaTunnel-CDC入湖实践，这些场景都是能直连数据库的场景，业务需求中经常会出现无法直连数据库做CDC进行数据同步的场景，而这些场景就需要使用API进行数据对接，用Apache DolphinScheduler定时同步数据。
2025-05-09 10:35:40
293
原创 任务运维、循环任务死锁.....DolphinScheduler任务配置经验分享
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。
2025-04-28 17:26:41
735
原创 【实战】一招搞定Shell调度！DolphinScheduler+ProcessBuilder超详细教程
本文将介绍在DolphinScheduler中使用ProcessBuilder执行Shell命令的方法。
2025-04-28 17:18:55
303
原创 白鲸开源与亚马逊云科技携手推动AI-Ready数据架构创新
在昨日举办的2025亚马逊云科技合作伙伴峰会圆桌论坛上，白鲸开源创始人兼CEO郭炜作为嘉宾，与亚马逊云科技及其他行业领袖共同探讨了“”这一重要话题。此次论坛由亚马逊云科技大中华区解决方案架构师高级经理Dickson Yue主持，吸引了众多行业关注的目光。
2025-04-25 09:51:23
1159
原创 白鲸开源WhaleStudio与崖山数据库管理系统YashanDB完成产品兼容互认证
近日，北京白鲸开源科技有限公司与深圳计算科学研究院联合宣布，双方已完成产品兼容互认证。
2025-04-24 10:11:59
455
原创 开源之夏2025 Apache DolphinScheduler课题宣讲
点击链接获取宣讲直播回放+PPT资料: https://www.whaleops.com/846839-846849.html?
2025-04-23 10:15:00
231
原创 DolphinScheduler开发者必看！IDEA本地调试实战指南
本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程，包括环境准备、远吗配置、服务启动等核心步骤，供大家参考。
2025-04-23 10:08:16
344
原创 金融行业数字化转型破局：WhaleScheduler如何重塑万级任务调度体系？
WhaleScheduler构建了既解决当下痛点又面向未来演进的立体化技术体系。这种多维协同的工程哲学，使得平台既能将任务失败率从8.7%压降至0.3%，又为金融业智能化转型提供了可扩展的技术基座。
2025-04-16 10:32:39
715
原创 修改下内存配置，DolphinScheduler CPU飙升问题秒解决
某公司在迁移从阿里云DataWorks到自建大数据平台过程中，遇到海豚调度器在定时任务触发时导致CPU负载激增甚至系统崩溃的问题。经过排查，发现并非任务数量过多引起，而是调度器配置不当。通过调整海豚调度器的线程数和CPU限制值，成功解决了CPU飙升问题，确保了任务的平稳运行。参考此案例，用户在调整线程数时需平衡机器负载和并发任务需求。
2025-04-16 10:28:32
586
原创 21日报名截止！CommunityOverCode Asia 2025议题征集倒计时
今年，我们将在北京，再次向全球开源爱好者与 Apache 用户及开发者们发出邀请 —— 今年 7 月 25-27 日，CommunityOverCode Asia 2025 将落地北京。
2025-04-15 18:13:19
1002
原创 3月报|DolphinScheduler项目进展一览
各位热爱 Apache DolphinScheduler 的小伙伴们，社区3月报来啦！来查看上个月项目的进展吧！
2025-04-15 18:10:05
506
原创 Apache DolphinScheduler社区答疑Star第一期评选结果公示
在广大社区成员的积极参与下，Apache DolphinScheduler社区答疑Star第一期评选活动圆满落幕！
2025-04-11 15:24:49
802
原创 喜讯！白鲸开源入选智联联盟2024年度软件研发优秀案例
通知附件中详细列出了第二批2024年度软件研发优秀案例获奖名单，其中白鲸开源以《调度系统助力国内头部券商中信建投打造国产信创化DataOps平台》入选优秀新动能案例。
2025-04-10 10:22:50
228
原创 Apache DolphinScheduler 3.3.0 Alpha发布，功能增强与性能优化大升级！
近期，Apache DolphinScheduler进行了版本更新，发布了3.3.0 alpha版本。Apache DolphinScheduler 3.3.0 alpha版本在任务管理、容错能力、扩展性等方面实现跨越式升级，为大规模工作流调度提供更稳定、灵活的解决方案。但需要提醒的是，此版本为alpha版本，请谨慎更新使用。
2025-04-09 15:05:17
1005
原创 5分钟掌握！DolphinScheduler时间参数动态配置秘籍
在 DolphinScheduler 中，调度时对时间参数的使用非常重要，尤其是当你在数据处理、ETL 任务或其他需要依赖时间范围的任务场景中。DolphinScheduler 允许通过多种方式灵活地配置时间参数，以适应不同的任务调度需求。
2025-04-09 14:51:31
1001
原创 来到DolphinScheduler大家庭，成为大数据调度的传播者！
亲爱的社区小伙伴们，Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值，实现自我“破圈”，这里是你最好的舞台，快来一起开启你的技术传播之旅吧！
2025-04-02 11:17:52
497
原创 GSoC谷歌编程之夏2025招募中，Apache DolphinScheduler需要你的提案！
GSoC谷歌编程之夏活动火热进行中！今年，Apache DolphinScheduler项目也依然参与其中，设立了有趣且有挑战性的项目任务，与通用OIDC认证有关。欢迎有才华的你们来挑战！
2025-04-02 11:13:03
766
原创 纯干货 | Dolphinscheduler Master模块源码剖析
此前我们曾用万字长文解释了Apache DolphinScheduler的Worker模块源码，今天，我们再来一起看看Master模块源码的原理。
2025-03-31 14:38:54
840
原创 网易邮箱DolphinScheduler迁移实战：从部署到优化，10倍效率提升的内部经验
随着互联网的飞速发展，电子邮件作为重要的信息交流工具之一，其数据处理和任务调度的需求日益增长。网易邮箱作为国内领先的电子邮件服务提供商，为了更好地应对海量数据的处理和任务调度挑战，引入了DolphinScheduler平台，并在实际应用中进行了深入的部署与优化实践。
2025-03-27 10:10:39
763
原创 巧用输出变量，提升Dolphinscheduler工作流灵活性和可维护性
输出变量是 DolphinScheduler 任务调度中实现数据流动与任务协作的核心机制，通过显式定义和传递参数，解决了跨节点数据共享、优先级冲突等问题，同时支持复杂流程编排（如子流程、条件分支）。合理使用输出变量能显著提升工作流的灵活性和可维护性。本文将介绍 DolphinScheduler 中重要的输出变量及其使用方法。
2025-03-19 17:30:00
842
原创 让海豚替你跑SQL！DolphinScheduler高效配置三步曲
今天，让我们来深入探讨DolphinScheduler中一种常见的任务类型：SQL任务。
2025-03-18 17:10:40
443
原创 2025年开源世界：系好安全带，颠覆即将来临！
在新的一年中，预计会出现有关许可、开源 AI 定义、安全与合规以及如何支付志愿维护者报酬的新紧张局势。
2025-03-14 09:34:38
681
原创 网易邮箱如何用大数据任务调度实现海量邮件数据处理？Apache DolphinScheduler用户交流会上来揭秘！
一定不要错过这场精彩的线上用户交流会！在这里，你将有机会深入了解网易邮箱关于Apache DolphinScheduler平台的实际应用案例，汲取大厂的前沿实践经验。
2025-03-10 15:57:20
438
原创 Apache DolphinScheduler项目2月份进展总结
各位热爱DolphinScheduler的小伙伴们，今年2月份的社区月报如期而至，更新了DolphinScheduler项目和社区在本月的重大进展，请查收！
2025-03-10 15:47:31
329
原创 工作流调度必看！2025年这四大核心趋势你不能不懂
未来工作流调度技术将呈现“四化”特征： 智能化（AI渗透）、轻量化（Serverless/容器化）、泛在化（边缘-云协同）、可信化（安全自治）。技术突破的核心在于打破传统架构边界，实现资源、数据与智能体的深度协同，同时需平衡性能、成本与可持续性。企业需关注工作流调度与AI和云原生技术的融合实践，并提前布局量子计算等前瞻领域，以抢占下一代调度系统的制高点。
2025-03-04 18:20:49
960
新一代大数据任务调度 - Apache DolphinScheduler介绍&Roadmap
2020-11-24
Apache DolphinScheduler高效支撑企业大数据核心业务 - 代立冬.pptx
2020-11-30
开源时代
2021-03-31
Apache DolphinScheduler的全球交流工具是？
2021-01-28
DolphinScheduler Docker 镜像仓库在？
2021-01-26
工作流定义执行后 为啥需要到工作流实例 再走任务实例？ 能否直接省去工作流实例？
2021-01-04
欢迎大家来社区提问哈，看看遇到了什么问题？
2020-12-31
想参与贡献，不知道该如何参与？
2020-12-21
上游依赖未成功，下游任务可以一直等待么？
2020-12-14
Apache DolphinScheduler准备什么时候申请毕业，成为顶级项目呢？
2020-12-08
哪里有关于 DolphinScheduler 的分享(PPT | 视频)？
2020-12-08
想参与社区贡献，不知如何参与？
2020-12-04
DolphinScheduler支持mysql 8 作为数据库么？
2020-12-03
DolphinScheduler单机部署有教程么？
2020-11-30
在哪里下载DolphinScheduler安装包呢？
2020-11-27
为什么要参与开源贡献？
2020-11-27
Python 任务如何设置 Python 的版本？
2020-11-26
DolphinScheduler流程定义有几种启动方式
2020-11-26
DolphinScheduler的用户案例
2020-11-25
DolphinScheduler 主要能力体现在哪些方面？
2020-11-25
DolphinScheduler有多少家公司在生产上使用？
2020-11-25
DolphinScheduler系统支持哪些邮箱？
2020-11-23
DolphinScheduler 服务介绍及建议运行内存
2020-11-23
遇到问题，如何得到社区的帮助
2020-11-23
DolphinScheduler项目的官网地址是？
2020-11-23
如何参与DolphinScheduler社区？
2020-11-23
如何在线试用Demo？
2020-11-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人