一、数据集成当前困境
目前数据集成基础设施建设仅一个单一数据库，无法很好支持上层应用的建设步骤，继续采用当前设施跟随产品的策略，数据产品开发受限巨大，从目前实施的几个产品看，存在以下主要问题：
- 功能支持受限，新功能由于无 Infra 支持，大部分最终以比较畸形的形式存在。
- 开发成本难以预估，且都存在成本超预算的现象。
- 技术人力资源局限，使用激进的自主开发需要大量有丰厚大数据技术积累的人员，目前不具备这样的条件。
对于数据集成 “全平台数据打通，高效低代码开发” 的基本目标，迫切需要一个拥有较为完善基础设施(Infra)的“数据仓库”。
二、为什么需要数据仓库？
已经有了数据库，为什么还需要数据仓库？在宏观上，数据库通常是一种OLTP数据库，局限于单一的应用软件，构成数据库系统。虽然数据库的设计使事务型数据库运行得更有效率，但是事务型数据库不善于分析。也就是说，数据库的组织结构决定它的分析能力并不好，相对地，数据仓库的组织结构，能够让它快速简单地处理分析的请求，帮助决策者优化流程、节省成本和保障质量。
数据仓库（Data Warehouse，DW）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。细节对比如下：
同时数据仓库也是数据中台的基石，是必不可少的一个重要因子。
三、数据仓库基础架构
事务型数据库保存数据的瞬态信息，分析型数据仓库保存大量的历史数据。在实际业务处理中，除了事务型业务和分析型业务，还存在介于事务型和分析型之间的需求，即快速地分析短期的历史数据。这种分析需求无法在保存瞬态数据的事务型数据库中完成，也不能在保存大量历史数据的数据仓库中完成，形成 DB-ODS-DW 的三层体系结构。
四、技术选型
目前市面上关于数仓的技术已经非常成熟，类型也是五花八门。但是考虑开发人员所掌握的技术等原因，我们应当快速以成熟技术完成数据仓库的 Infra 设施部署和相关开发秩序的建立。选定成熟的大数据技术堆栈包含数据存储、数据开发、BI 服务、元数据服务，且各方面都需要有十分成熟的开源产品支持。
这样基于成熟的大数据开发栈，开发人员不需要了解各组件的部署、实现，可以以近似低代码（数据集成能力）形式接入各数据业务、完成数仓数据积累。比如七巧低代码通过预构建的连接器与多
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
