- 博客(651)
- 资源 (3)
- 问答 (29)
- 收藏
- 关注
RSS订阅
原创 数据平台调度升级改造 | 从Azkaban 平滑过度到Apache DolphinScheduler 的操作实践
Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造。...
2022-06-16 18:00:04
1150
原创 白鲸开源“创客北京2025”再摘殊荣，聚焦Agentic AI时代数据基础设施建设
近日，“创客北京2025”创新创业大赛海淀区级赛圆满落幕，经过最终比拼，北京白鲸开源科技有限公司凭借 「Agentic AI时代下的数据基础设施平台」（白鲸数据集成调度平台/WhaleStudio） 脱颖而出，荣获企业组二等奖。
2025-09-18 17:33:13
44
原创 Ubuntu 22 下 DolphinScheduler 3.x 伪集群部署实录
本文记录了在 Ubuntu 22.04 上部署 Apache DolphinScheduler（伪集群模式）的完整过程，涵盖环境准备、安装配置、数据库初始化、用户创建及服务启动等步骤。适合个人学习、功能验证或测试使用。
2025-09-18 17:17:33
254
原创 教你数分钟内创建并运行一个 DolphinScheduler Workflow！
本文就主要探讨如何在 ApacheDolphinScheduler 上更好地玩转 Workflow， 以帮助大家更好地管理数据处理任务。
2025-09-18 16:47:22
435
原创 （二）一文读懂数仓设计的核心规范：从层次、类型到生命周期
本文为系列文章第二篇，详细剖析了数仓公共设计所遵循的规范，包括层次调用规范、数据类型规范、字符串等数仓设计规范。
2025-09-10 14:47:39
993
原创 码住！DolphinScheduler 常见故障 “急救指南”，一文解决服务、调度、连接等难题
本文将从架构层面深入分析常见故障类型，提供详细的排查思路和解决方案，帮助运维人员和开发者快速定位并解决问题。
2025-09-10 14:36:44
327
原创 必看！Apache DolphinScheduler 任务组因 MySQL 时区报错全解析与避坑指南
在项目上实际使用了 DolphinScheduler 一段时间后，我遇到了任务组功能因为 MySQL 时区的原因报错的问题。经过探索这个问题已经解决了，解决思路分享如下。
2025-09-10 14:22:12
291
原创 K8s集群+Rancher Server：部署DolphinScheduler 3.2.2集群
本文手把手演示了如何在 K8s + Rancher 环境中快速拉起一套生产可用的 Apache DolphinScheduler 3.2.2 集群。全文围绕“镜像加速、依赖本地化、存储持久化”三大痛点展开，附有详细的代码解析，收藏细看吧！
2025-09-02 16:55:17
1085
原创 【硬核干货】把 DolphinScheduler 搬进 K8s：奇虎 360 商业化 900 天踩坑全记录
过去 3 年，我们团队把部分调度任务从 Azkaban 逐步迁移到 DolphinScheduler，并开展了 K8s 容器化。今天把踩过的坑、攒下的经验一次性复盘，建议收藏！
2025-09-02 16:44:11
700
原创 【新版发布】Apache DolphinScheduler 3.3.1 正式上线：更稳、更快、更安全！
我们迎来了 Apache DolphinScheduler 的又一次重要更新——3.3.1 版本正式发布！🎉
2025-08-27 15:32:14
1088
1
原创 DolphinScheduler API与SDK实战：版本管理、系统集成与扩展全指南
本文详细介绍了Apache DolphinScheduler的RESTful API接口体系及其在企业系统集成中的应用。内容涵盖API架构设计、核心控制器模块、统一响应格式、认证授权机制、错误处理体系以及Swagger接口文档。同时深入探讨了Java SDK集成开发指南，包括环境准备、核心API接口、工作流编程式创建与管理，以及与企业现有系统的集成方案。文章提供了丰富的代码示例和最佳实践，帮助开发者全面掌握DolphinScheduler的API开发与集成能力。
2025-08-27 14:58:27
1075
原创 下周二见！奇虎360数据专家亲授：DolphinScheduler on K8s 生产级部署避坑指南！
8 月 Apache DolphinScheduler 线上 Meetup 特别邀请到上海奇虎科技有限公司的数据专家王远朋，现场拆解他在一线生产环境中完成 DolphinScheduler on K8s 部署改造的全过程，带来从踩坑到调优的硬核实战经验，助你一次把“云原生调度自由”收入囊中。
2025-08-20 11:01:02
293
原创 如何批量杀死 Apache DolphinScheduler 运行中的工作流？
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，遇到了任务过多僵死的问题，解决思路分享如下。
2025-08-20 10:04:25
421
原创 从数据血缘到AI Agent：天翼云 × DolphinScheduler 的云上调度新篇章
在数据驱动与智能化的浪潮下，数据调度平台的价值正在被重新定义。
2025-08-13 16:36:24
813
原创 Apache DolphinScheduler 7 月社区月报 | 关键修复与性能优化全面推进
7 月份，Apache DolphinScheduler 社区持续高能迭代，多个核心模块迎来重要修复与优化。在 K8S 环境下解决了 PodIP 变化导致无法重新连接 Zookeeper 的问题，依赖任务、变量池、COS 资源管理等功能均获关键修复，提升了系统稳定性与可用性。
2025-08-13 16:17:45
981
原创 日均处理 PB 级数据，基于 DolphinScheduler 的离线数据治理平台实现精准血缘追踪
本文介绍了基于 DolphinScheduler 的离线数据治理平台，解决了任务依赖黑洞和扩展性瓶颈问题。通过 YAML 动态编译和血缘自动捕获，实现了高效的任务依赖管理和数据追踪。平台使用 Neo4j 图数据库进行血缘存储，支持秒级影响分析和根因定位。此外，结合自研高性能导入工具，大幅提升数据传输效率。
2025-08-06 15:12:49
378
原创 Apache DolphinScheduler DataX 数据集成：新手入门全攻略
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些使用Datax做数据集成的实际经验，分享如下。
2025-08-06 14:48:34
356
原创 使用 Apache DolphinScheduler 构建和部署大数据平台，将任务提交至 AWS 的实践经验
今天给大家分享的技术思路是基于3.1.1版本进行的二次开发，增加了一些社区版本中未包含的新功能。
2025-08-06 10:23:25
718
原创 新手教程：用外部 PostgreSQL 和 Zookeeper 启动 Dolphinscheduler
本文将带你一步步通过外部PostgreSQL和Zookeeper来启动Apache DolphinScheduler。
2025-07-31 16:28:19
1174
原创 一文教会你基于 Rainbond 部署 DolphinScheduler 高可用集群
本文描述通过 Rainbond 云原生应用管理平台 一键部署高可用的 DolphinScheduler 集群。
2025-07-31 16:16:35
689
原创 【直播预约】天翼云如何通过 DolphinScheduler 实现大数据自动化与全链路血缘，探索实践亮点！
在本期技术分享中，我们将邀请天翼云研发专家，带来关于天翼云翼MR加载Apache DolphinScheduler的实践经验和社区贡献的精彩演讲。
2025-07-31 15:58:10
210
原创 二次开发必看！DolphinScheduler 3.1.9 开发环境搭建指南
本文结合真实案例，详细介绍 DolphinScheduler 3.1.9 的二次开发环境配置流程，希望为有定制化开发需求的用户提供实用、可靠的参考。
2025-07-22 15:23:43
800
原创 从批到流，Zoom 基于 DolphinScheduler 的流批统一调度系统演进
本文将结合 Zoom 实际业务落地过程中的经验，深入解读这一系统的设计演进、关键问题应对与未来规划。
2025-07-22 14:27:37
880
原创 DolphinScheduler 如何高效调度 AnalyticDB on Spark 作业？
用户可以在DolphinScheduler Web界面轻松创建、编辑和调度云原生数据仓库 AnalyticDB MySQL 版的Spark作业。
2025-07-17 16:33:13
667
原创 给 DolphinScheduler 加一个 SQL Copilot 聊天助手，这个主意怎么样？
DolphinScheduler准备引入Copilot聊天助手啦！
2025-07-16 15:14:50
964
原创 Linux 基金会报告解读：开源 AI 重塑经济格局，有人失业，有人涨薪！
随着生成式 AI 技术飞速发展，开源模式正在成为推动经济转型的重要驱动力。
2025-07-08 16:22:00
732
原创 DolphinScheduler+Sqoop 入门避坑：一文搞定数据同步常见异常
在DolphinScheduler中假如遇到创建租户时，报错，错误日志显示权限不足。
2025-07-08 16:20:33
205
原创 好消息！Apache DolphinScheduler 荣获上海上海菁英荟优秀开源项目奖
近日，在 2025 上海开源创新菁英荟上，由中国团队主导的Apache DolphinScheduler荣获 「优秀开源项目奖」。这个从中国走向全球的大数据调度平台，凭借技术突破与行业实践，成为全球 3000 余家企业的核心调度引擎。
2025-07-02 14:30:59
359
原创 DolphinScheduler 社区月报（5-6 月）：修复优化齐发力，贡献者高光时刻回顾！
亲爱的 DolphinScheduler 开发者与用户们，DolphinScheduler 社区 5、6 月月报重磅发布啦！本期月报记录了社区在过去两个月的重要进展。
2025-07-02 12:00:06
876
原创 DolphinScheduler 社区喜讯：两项学生项目入选“开源之夏 2025”！
近日，“开源之夏 2025”项目正式进入公示期，Apache DolphinScheduler 社区传来喜讯！本次共有两项学生项目成功入选，分别聚焦在 Kubernetes 调度优化与插件体系增强方向，展现出社区在调度引擎可扩展性和云原生兼容性方面的持续演进。
2025-07-01 14:43:02
153
原创 DolphinScheduler 6 个高频 SQL 操作技巧
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些后台SQL实际经验，分享如下。
2025-07-01 14:40:49
389
原创 白鲸开源双项目齐中选，助力“开源之夏 2025”再结硕果！
在“开源之夏 2025”项目公示期中，白鲸开源运营的两个 Apache 顶级项目——Apache DolphinScheduler 与 Apache SeaTunnel 再次迎来学生申请中选的好消息，共有 4 个学生项目成功入选，覆盖基础功能增强、生态适配到高阶 connector 开发等方向。
2025-07-01 14:39:38
250
原创 【小白入门】这十个问题回答不上来，都不好意思说自己是干调度的
在大数据系统中，工作流调度是连接数据采集、处理、分析和输出的核心枢纽。一个稳定、可扩展、可观测的调度系统，直接影响到整个数据链路的效率与可靠性。本文围绕“大数据工作流调度”，总结了开发者在实际开发和运维过程中最常遇到的十个关键问题及其解决思路，帮助你更深入理解调度系统的设计与落地实践。
2025-06-24 10:45:47
406
原创 DSIP-91提案解读：简化工作流调试和发布的方案，等你来探讨！
在 Apache DolphinScheduler 社区中，最近有人提出了一个优化提案非常值得大家关注。在 DSIP-91 提案中，这位开发者聚焦于优化当前工作流调试和上线发布流程，解决调试不便、发布步骤繁琐、实例混乱等痛点，提出的优化方案引入“草稿”模式，使工作流可在不上线的状态下进行调试；同时支持调试与生产实例区分、调度任务一键配置等能力。
2025-06-17 10:03:49
330
原创 传统数据仓库正在被 Agentic AI 吞噬？Agentic Data Stack 初探
从技术架构的角度看，我认为这一次的AI浪潮将深刻影响整个软件生态。DSS 系统的设计是以人作为最终消费者的决策支持逻辑为中心，然而，随着 Agentic AI 时代来临，最终的“消费者”更可能是 agent，对数据仓库和复杂 ETL 链路将被重新设计，甚至消失。传统数据仓库偏重结构与查询模式，会被 Agentic Data Stack 架构强调语义与响应模式取代。
2025-06-13 15:16:23
1275
原创 【生产实践】Dolphinscheduler集群部署后Web控制台不能登录的问题解决了!
Dolphinscheduler按生产手册使用一键脚本集群部署后，控制台登录页面可以打开，但使用默认账户怎么都登录不进去，尝试在数据库中清理登录用户字段，发现数据库中并没有相关用户字段，而后使用Dolphinscheduler初始化脚本建库时发现连接数据库失败。
2025-06-11 17:33:28
653
原创 博世智驾智能调度实践: 用DolphinScheduler构建下一代AI数据中台
今天的话题将聚焦于是博世在智能驾驶技术方面基于Apache DolphinScheduler的技术改造与业务应用。
2025-06-11 15:11:03
1008
原创 全维度测试通过！DolphinScheduler 3.2.0单节点部署与验证实录
虽然本次测试显示3.2.0版本单节点部署在应用上完全可用，但社区仍推荐在生产场景中使用3.1.9版本，此版本更加稳定。
2025-06-05 16:38:45
828
新一代大数据任务调度 - Apache DolphinScheduler介绍&Roadmap
2020-11-24
Apache DolphinScheduler高效支撑企业大数据核心业务 - 代立冬.pptx
2020-11-30
开源时代
2021-03-31
Apache DolphinScheduler的全球交流工具是？
2021-01-28
DolphinScheduler Docker 镜像仓库在？
2021-01-26
工作流定义执行后 为啥需要到工作流实例 再走任务实例？ 能否直接省去工作流实例？
2021-01-04
欢迎大家来社区提问哈，看看遇到了什么问题？
2020-12-31
想参与贡献，不知道该如何参与？
2020-12-21
上游依赖未成功，下游任务可以一直等待么？
2020-12-14
Apache DolphinScheduler准备什么时候申请毕业，成为顶级项目呢？
2020-12-08
哪里有关于 DolphinScheduler 的分享(PPT | 视频)？
2020-12-08
想参与社区贡献，不知如何参与？
2020-12-04
DolphinScheduler支持mysql 8 作为数据库么？
2020-12-03
DolphinScheduler单机部署有教程么？
2020-11-30
在哪里下载DolphinScheduler安装包呢？
2020-11-27
为什么要参与开源贡献？
2020-11-27
Python 任务如何设置 Python 的版本？
2020-11-26
DolphinScheduler流程定义有几种启动方式
2020-11-26
DolphinScheduler的用户案例
2020-11-25
DolphinScheduler 主要能力体现在哪些方面？
2020-11-25
DolphinScheduler有多少家公司在生产上使用？
2020-11-25
DolphinScheduler系统支持哪些邮箱？
2020-11-23
DolphinScheduler 服务介绍及建议运行内存
2020-11-23
遇到问题，如何得到社区的帮助
2020-11-23
DolphinScheduler项目的官网地址是？
2020-11-23
如何参与DolphinScheduler社区？
2020-11-23
如何在线试用Demo？
2020-11-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人