数据仓库ODS、DW和DM概念 - 2

本文介绍了数据仓库(Data Warehouse, DW)的基本概念,强调了其面向主题、集成、稳定且反映历史变化的特点。DW作为决策支持系统的基础,需要确保数据的一致性、准确性和权威性,并支持高效查询。此外还涉及了数据仓库的层级结构、数据来源及清洗过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

3.2  DW  


数据仓库(Data Warehouse):是一个面向主题的(Subject Oriented)、集成的(Integrated)、
相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策
(Decision Making Support)。


时效:T+1


A.  主要提供查询服务,并要求查询能够及时响应. 
B.  数据质量,DW提供很多决策系统的支撑数据,数据准确非常重要。DW的数据应该是唯一的具有
权威性的数据,企业所有决策系统只能使用从DW提供的被认可的数据。
C.  扩展性,业务扩展和降低企业建设数据仓库的成本考虑 。
D.  面向主题,DW中的数据是按照一定的主题域进行组织的,每一个主题对应一个宏观的分析领域。
数据仓库排除对决策无用的数据,提供特定主题的简明视图。 


DW中的数据需要定期进行质量审核,保证权威准确;DW中的数据只允许增加,不允许删除和修改。
EDW需要的运营数据,如果在ODS中已存在,EDW则直接从ODS获取这部分数据。EDW需要的运营数据,
如果在ODS中没有,EDW则直接从生产系统获取这部分数据。


DW层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数
据。这一层的数据一般是遵循数据库第三范式的,其数据粒度通常和ODS的粒度相同。在DW层会保存
BI系统中所有的历史数据,例如保存10年的数据。


EDW主要面向专业分析人员、辅助决策支持人员等,为了实现基于历史数据的统计分析和数据挖掘,
以获得客户深层次的特征和市场发展的规律,例如专业分析人员的经营状况趋势分析由EDW提 供支撑。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/35489/viewspace-2155541/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/35489/viewspace-2155541/

数据分层是指将数据按照不同的层级进行组织管理的过程。在数据分层中,常见的层级有ODS层(数据运营层)、DW层(数据仓库层)DM层(数据集市层)。 ODS层是数据分层的第一层,也称为数据运营层。在ODS层中,数据进行一定的清洗处理,例如处理异常字段、统一时间字段格式等。 DW层是数据仓库层,是数据分层的核心设计层。在DW层中,根据主题建立各种数据模型,包括DWD(数据仓库细节层)、DWM数据仓库中间层)DWS(数据仓库服务层)。DWD层或者称为ODS层,作为业务层与数据仓库的隔离层,用于屏蔽底层数据的差异。 DM层是数据集市层,可以理解为DW层向DM层的过渡层。在DM层中,数据进行宽表汇总,用于分析某个特定主题领域的服务数据。 数据分层的目的是为了更好地管理数据,提供清晰的数据掌控能力。通过数据分层,我们可以对不同层级的数据进行不同的处理分析,以满足各种需求。比如,ODS层可以处理数据的规整清洗,DW层可以按照主题进行组织建模,DM层可以提供宽表汇总的服务数据。 综上所述,数据分层是将数据按照不同层级进行组织管理的过程,包括ODS层、DWDM层。每个层级都有不同的作用目的,通过数据分层可以更好地管理利用数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [数据分层/ODS/DW/DM](https://blog.csdn.net/cuiyadll/article/details/124682342)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [数据仓库--通用的数据仓库分层方法?为何分层?ODS/ DW/DWD/DWS/APP](https://blog.csdn.net/u010002184/article/details/113885628)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值