系列 | 漫谈数仓第一篇NO.1 『​基础架构』

本文介绍了数据仓库的架构演进,包括离线到实时的转变,以及lambda、kappa和混合架构。讨论了逻辑分层,如经典的四层架构,并探讨了技术选型,如Oracle、Hadoop生态圈在不同场景的应用。接着,文章强调了数据调研的重要性,包括业务、需求和数据库调研。此外,还详细阐述了主题域划分、数仓规范制定以及数据治理,涉及数据质量、元数据管理和数据安全。最后,简要回顾了数据仓库的不同建模理念,如Kimball和Inmon的方法,并提供了相关资源获取途径。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 
 

01. 架构演进

离线数据仓库到实时数据仓库,从lambda架构到kappa架构、再到混合架构。本文不再多再介绍,之前文章已有深入介绍,如有兴趣可看这篇文章:

 

640?wx_fmt=jpeg

 

02. 逻辑分层

数仓分层,一般按ods->dw->dm整体架构。不同的企业,不同的业务场景,有衍生出不同的分层架构模式。例如经典四层架构:ods->dwd->dws-ads,bdl->fdl->gdl->adl等。

 

640?wx_fmt=png

 

技术选型,传统数仓一般以Oracle、greenplum、teradata 等,互联网数仓一般以Hadoop生态圈为主

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值