数据平台的转型、优化与文化建设

# 数据平台的转型、优化与文化建设 ## 1. 转型阶段：奠定基础 在将首个用例投入生产后，接下来的重点便是扩展规模、增加更多数据域并优化架构。此时，清晰把握整体局势至关重要。以下是此阶段的关键要点： ### 1.1 明确业务能力 - 清晰了解业务能力，包括人员、流程和技术的协同。 - 明确各数据域所拥有的应用程序及其职责。 - 知晓潜在新数据产品可服务的新用例。 ### 1.2 选择合适的拓扑结构 - 定义适合组织的数据域和着陆区拓扑。 - 协调包含数据处理、存储、编目、元数据发布和策略执行等服务的蓝图。 - 研究数据域之间的数据流量，做出设计决策： - 若多个数据域需要大量其他数据域的数据，不建议采用高度分散或细粒度的数据域拓扑，集中管理共享数据产品的受控拓扑通常是更好的选择。 - 若数据域之间的数据流量差异显著，可采用集中管理与点对点分布式数据相结合的混合方法。 ### 1.3 汲取经验并改进 - 考虑初始阶段的经验教训，为数据产品开发过程添加自动化和更高级的功能，如数据质量框架和 ETL 服务标准。 - 改进数据管道，使用参数化、元数据驱动的管道，中央平台团队以即服务模式提供这些功能。 - 实施中央监控服务和控制框架，促进数据提供者和消费者之间的主动合作。 ### 1.4 推荐添加数据域的方法 - 先关注架构的源系统端，再扩展消费端。因为通常数据消费者多于数据提供者，且面向消费者的分析服务复杂，需确保新数据产品稳定可扩展地交付后再增加大量消费者。 ### 1.5 引入战略主题 - 引入三个战略主题：黄金源管理、数据市场管理和数据价值转化管理，同时推进这三个主题可减少团队间的瓶颈，提高业务满意度。 ### 1.6 实施数据治理控制 - 实施首批计算数据治理控制，如在共享数据前关联数据所有者，中央团队在此阶段的角色转变为培训、指导其他团队。 ### 1.7 考虑不同的数据摄取模式 - 根据团队需求，提供不同的数据摄取模式和选项，如事件驱动或 CDC 服务，或允许使用中间着陆区。 ### 1.8 阶段结束时的状态 - 定义新的治理和运营模式，包括新的角色和职责。 - 创建仪表盘展示数据域及其元数据的表现。 - 数据域团队拥有数据生命周期，使用 DataOps 最佳实践管理数据产品。 - 数据产品开发得到工具和数据建模最佳实践的支持，开发团队可了解管道对下游消费者的影响。 - 手动流程和管道被模板和服务取代，数据访问策略以代码或配置形式存储，中央团队仍全面控制数据访问供应。 - 使用单一着陆区，服务变化有限，所有数据域团队使用相同的蓝图配置。 - 拥有一致的元模型，确保各数据域团队了解数据产品的归属。 ### 1.9 处理迁移和遗留场景 - 在引入新用例和数据域时，可能会遇到迁移或遗留场景，如消费者需要历史数据。可从其他环境提取或复制历史数据，构建遗留数据产品并与新数据结合，但可能需要进行字段匹配、去重、数据清理或编写业务逻辑。 ### 1.10 实现数据域互联 - 进一步扩展时，需通过设置互操作性标准和实施查询服务，实现数据域之间的数据产品交换或直接共享，可考虑使用 Parquet 或 Delta 等流行文件格式和（无服务器）SQL 服务。 以下是转型阶段的主要步骤总结表格： |步骤|详情| | ---- | ---- | |明确业务能力|了解业务能力、数据域应用及职责、新用例与数据产品关系| |选择拓扑结构|定义拓扑，协调蓝图，研究数据流量并决策| |汲取经验改进|添加自动化功能，改进数据管道，促进团队合作| |添加数据域方法|先关注源系统端，再扩展消费端| |引入战略主题|黄金源、数据市场、数据价值转化管理| |实施治理控制|关联数据所有者，中央团队转变角色| |考虑摄取模式|提供不同摄取模式和选项| |阶段结束状态|定义模式、创建仪表盘等一系列成果| |处理遗留场景|提取历史数据并结合新数据| |实现数据域互联|设置标准和服务实现共享| 下面是转型阶段的 mermaid 流程图： ```mermaid graph LR A[明确业务能力] --> B[选择合适的拓扑结构] B --> C[汲取经验并改进] C --> D[推荐添加数据域的方法] D --> E[引入战略主题] E --> F[实施数据治理控制] F --> G[考虑不同的数据摄取模式] G --> H[阶段结束时的状态] H --> I[处理迁移和遗留场景] I --> J[实现数据域互联] ``` ## 2. 优化阶段：提升专业能力 在奠定基础后，需迭代优先业务用例并进一步提升专业能力。 ### 2.1 转移支持活动 - 将中央团队的支持活动转移到数据域团队，解决低效问题，通过自助服务和自动化提高团队管理数据和数据管道的效率，允许团队自助加入和订阅数据产品，部署元数据自助注册和维护服务。 ### 2.2 关注架构迭代重点 - 下一次架构迭代将关注实时数据处理、消费就绪性、安全性、主数据管理和精选数据分发，通过蓝图和服务标准化架构的消费端，一次推出一项新服务并评估需求。 ### 2.3 解决数据重用和一致性问题 - 关注使用频率高的数据产品，寻找跨团队重复的协调和质量改进活动，若有大量此类活动，相关数据产品可能适合主数据管理，也可分离通用集成逻辑并让一个数据产品团队负责。 ### 2.4 支持数据共享体验