数据域拓扑结构的类型与特点

# 数据域拓扑结构的类型与特点 ## 1. 引言 在数据管理领域，不同的组织会根据自身的规模、业务需求、技术能力等因素，选择适合的域拓扑结构。这些拓扑结构在数据管理的自主性、集中化程度、数据分发方式等方面存在差异，各有优缺点。了解这些拓扑结构有助于组织更好地规划和管理数据。 ## 2. 受治理的域拓扑结构 ### 2.1 基本原理 受治理的域拓扑结构中，数据生产者对其创建、管理和分发的数据负全部责任，实现了数据管理责任的联邦化。这是因为数据生产者是自身数据的专家，了解系统设计和数据情况，也清楚数据质量对消费者的意义。同时，这种联邦化提供了可扩展性，多个团队可独立开发数据管道并并行提供数据。 ### 2.2 结构特点 为降低基础设施管理的开销，该拓扑结构增加了中央分发层。虽不完全是数据网格架构，但遵循了许多数据网格原则。每个域在明确的边界内运行，对自身的应用程序和数据产品拥有自主所有权，但数据产品必须通过中央管理和共享的逻辑实体进行分发，类似于轮辐式模型。 ### 2.3 数据分发策略 是否所有域都应公开或共享其产生的所有数据，这取决于组织的需求。建议采用需求驱动的方法构建数据产品，即仅在有需求时构建，并尽可能使其能为更多可重复使用的数据消费者服务。不过，有些组织要求所有数据始终可用，以实现数据驱动并加快上市时间。 ### 2.4 优缺点分析 |优点|缺点| | ---- | ---- | |便于在开发早期解决一致性问题，可轻松阻止数据分发或消费，强制元数据交付|引入了更多域间耦合，可能导致上市时间延长，中央分发层可能成为瓶颈| |避免大量网络流量，因为有中央连接点|多云部署时实施难度较大，构建跨云的数据分发服务较困难| |使架构更具成本效益，可通过共享计算服务提高数据处理效率| | |简化满足数据仓库工作负载的时间变体和非易失性要求| | ### 2.5 适用场景 许多金融机构、政府和其他重视控制、质量和合规性而非团队自主性的大型组织会选择这种拓扑结构以获得更高的可扩展性。 ## 3. 部分联邦化的域拓扑结构 ### 3.1 结构特点 与其他拓扑结构相比，该结构的联邦化程度较低，集中化程度较高。有数据产品管理理念，但数据由中央和共享的数据产品架构管理。当域团队缺乏必要技能或资源时，甚至会有中央工程团队接管数据。 ### 3.2 数据管理方式 在消费端，通常具有较高的自主性和网状的数据分发方式。不同的域团队处理用例，对转换后的数据和分析应用程序负责，新创建的数据可点对点分发或推回中央数据平台。 ### 3.3 存在的问题 源系统对齐的域管理开销增加，因为可能由中央团队进行接入。组织可能面临不同运营模式、缺乏自助服务功能、指导原则复杂等问题，数据分发规则也可能不一致。 ## 4. 价值链对齐的域拓扑结构 ### 4.1 结构特点 具有供应链管理、产品开发或运输核心竞争力的组织会采用这种拓扑结构。域以端到端的方式紧密协作，处理数据的过程是从运营到分析再回到运营。价值链是一组紧密合作以实现共同增值的小域，可视为更大的域，内部和跨价值链的数据分发模式不同。 ### 4.2 治理模型 可以混合不同类型的治理模型，在一个域中要求严格遵守标准，而在其他域中允许更宽松的控制。 ### 4.3 注意事项 该拓扑结构需要架构师提供更强的指导，因为边界可能不明确。此外，由于只有跨越价值链边界的数据才能成为数据产品，组织可能会变得不太以数据为驱动。 ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A(运营数据):::process --> B(分析数据):::process B --> C(运营数据):::process subgraph 价值链 A B C end ``` ## 5. 粗粒度的域拓扑结构 ### 5.1 结构特点 通过有机增长、并购扩大规模的组织通常具有复杂的结构，包