数据仓库——数仓分层

最新推荐文章于 2025-07-03 15:41:16 发布
最新推荐文章于 2025-07-03 15:41:16 发布
阅读量9.2k 收藏 240
点赞数 26
CC 4.0 BY-SA版权
分类专栏： 数据仓库 # 数仓建模 文章标签： 数据仓库 big data 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lightupworld/article/details/108716552
本文详细介绍了数据仓库的分层结构，包括ODS、DWD、DIM、DWS、DM和APP/ADS各层的作用、步骤及实例。ODS层存放原始数据，DWD层构建最细粒度的明细层，DIM层建立一致性维度，DWS层进行轻度聚合，DM层按主题汇总，APP/ADS层则针对具体业务需求提供分析指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数仓分层

一.分层的作用

  • 数仓分层的目的是：逐层解耦，减少重复计算，降低烟囱式开发。越到底层，越接近业务发生的记录，越到上层，越接近业务目标。具体如下：
    • ①清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解，实现业务数据解耦。
    • ②减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算
    • ③统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径
    • ④复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题

二、ODS (opreational data store)

  • 存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。
  • 作用
    • ①保持数据原貌不做任何修改，起到备份数据的作用
    • ②数据采用压缩，减少磁盘存储空间（如：原始数据100G，可以压缩到10G左右）
    • ③创建分区表，防止后续的全表扫描

三、DWD(data warehouse detail)

1.概览
  • DWD层是以业务过程为驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。同时，为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联,在该层也会做一部分的数据聚合，将相同主题的数据汇集到一张表中，提高数据的可用性。
2.步骤

  • DWD层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。 维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实

  • ① 选择业务过程

    在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。 如果是中小公司，尽量把所有业务过程都选择。 如果是大公司（1000多张表），选择和需求相关的业务线。

  • ② 声明粒度

    数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。 声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来应各种各样的需求

最低0.47元/天 解锁文章

200万优质内容无限畅学
数仓理论（7）—— 数仓建模架构Inmon范式建模与Kimball维度建模
shangjg3的博客
03-22 1410
在数据仓库领域，有两位大师，一位是“数据仓库”之父 Bill Inmon，一位是数据仓库权威专家 Ralph Kimball，两位大师每人都有一本经典著作，Inmon大师著作《数据仓库》及Kimball大师的《数仓工具箱》，两本书也代表了两种不同的数仓建设模式，这两种架构模式支撑了数据仓库以及商业智能近二十年的发展。例：某公司的各个商品在全国各地市的销售情况，维度就是全国的城市和各个商品，度量就是商品的单价，从不同的维度计算销售额：如查看北京市酸奶的销售额，上海市纯牛奶的销售额，这就是不同的维度组合方式。
财务数据域——财务数仓系统设计
庄小焱
04-13 1367
本文详细探讨了财务数仓系统的建设，涵盖背景、业务流程、系统设计、外部对接及建设难点。系统建设面临数据整合与标准化、数据质量与一致性等核心难点，通过主数据管理、数据湖与数据仓库分层、数据质量规则引擎等技术手段解决。文章还阐述了财务数仓的业务流程、系统架构设计、关键技术设计、核心分层设计及子系统模块，以及外部对接的目标、场景与技术架构。
维度退化及其处理方法解析
qq_41081716的博客
05-11 688
类似问题可出现在商品类目（过时分类）、时间维度（分钟级粒度未被使用）等场景中，需结合具体业务动态调整。：该维度无法有效区分用户群体，分析时导致“维度分裂”（大量查询结果集中在APP渠道）。：90%的用户注册渠道标记为“APP”（早期主推APP注册，其他渠道流量极少）。：解决单一维度区分度低的问题（如“APP_VIP用户”可能复购率更高）。：渠道分类混乱（如“H5”被拆分为“H5-促销页”“H5-广告页”）。：部分渠道已下线（如“PC端注册”），但字段仍保留旧值。：将渠道属性与其他字段组合，生成衍生维度。
数据仓库分层之辩
nisjlvhudy的专栏
01-31 1万+
--转自：http://blog.itpub.net/post/14877/198599 数据仓库的分层可以算是数据仓库架构的子话题。在前段时间参与的一次讨论中，笔者发现其中争论的焦点集中在每一层的作用、特点、是否有必要存在等问题。其中，大家虽然一致提到某些相关概念，但各方的理解却并非完全一致。例如对于ODS是什么、维度建模是什么等问题的解读，都是如此。 不妨想想看：数据从分散而异构的数据源中
ODS 是什么？一文搞懂 ODS 与数据仓库区别
最新发布
Leo的博客
07-03 961
ODS（操作型数据存储）和数据仓库是企业数据管理的两大核心组件。ODS专注于实时整合业务系统数据，提供最新业务视图，支持日常运营决策；数据仓库则存储历史数据，用于战略分析和趋势预测。两者在数据时效性（实时vs历史）、用途（运营支持vs战略分析）、处理方式（快速集成vs深度加工）和存储结构（简单高效vs复杂优化）上存在显著差异。尽管功能不同，它们通过数据流向和功能互补共同构成完整的数据决策体系。企业应根据业务需求（实时监控或长期规划）和数据特点（高频变化或海量历史）选择适合的方案，通常两者配合使用效果更佳
数仓分层
热门推荐
weixin_42656794的博客
06-13 3万+
000概述 数仓分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更容易理解和使用 本文的大纲 001，介绍数据分层的作用 002，分层设计的原则以及介绍一种通用的数据分层设计 003，具体案例 004，落地实践意见 005，思考 001，数据分层的作用 我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是数据分层。数据分层的好处有 ①，清晰数据结构：每一...
数据仓库分层
Poolweet_的博客
10-29 6519
一.数据仓库分层 ODS(Operation Data Store)层：原始数据层，存放加载原始日志、数据，数据保持原貌不做处理。 DWD(Data warehouse detail)层：对ODS层数据进行清洗（去除空值，超过极限范围的数据）、维度退化、脱敏等。 DWS（data warehouse service）层：以DWD为基础，按天进行轻度汇总。 DWT（data warehouse Topic）层：以DWS为基础，按主题进行汇总。 ADS（Application Data Store）层：为各种
数据仓库——数仓治理
weixin_46010244的博客
07-19 442
数据仓库是一个集中式存储库，用于存储结构化数据(数据库表、Excel 工作表)和半结构化数据(XML 文件、网页)，以便进行报告和分析。数据从各种源(如销售点系统、业务应用程序和关系数据库)流入，通常会在到达仓库之前进行清理和标准化。由于数据仓库可以存储大量信息，因此用户可以轻松访问大量历史数据，这些数据可用于数据挖掘、数据可视化和其他形式的商业智能报告。数据仓库分层原理_纠结&安然的程序猿的博客-CSDN博客。
数仓dw怎么建_从0到1建设数据仓库——数仓基础篇
weixin_36216477的博客
12-30 879
数据仓库建设主题是系列篇，目的是带大家从了解数据仓库的基础知识开始，循序渐进，学会数据仓库的建设，本篇是数仓建设的第一篇，主要讲讲数据仓库的基础知识。01、什么是数据仓库数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视...
关于数仓及其分层
qq_43671197的博客
08-22 6143
目录 一、基本介绍 二、数据仓库的特点 1、面向主题 2、数据集成 3、相对稳定 4. 反映历史变化 三、数仓工具 1、一般工具 2、大数据学习工具之Hive 2.1 Hive的大数据学习优势 2.2 Hive数据仓库架构及原理 四、数据仓库作用 五、数仓分层 1、数仓分层作用 2、分层架构 2.1源数据层（ODS） 2.2数据仓库层（DW） 2.3数据展示层（DA或APP） 2.4维表层（Dimension） 3、分层实例 4、技术应用 六、实例 1、数据来.
数仓分层——ODS、DW、ADS
麦当当的博客
05-07 9728
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
B-tree在外部存储和数据库索引中的应用
我的学习成长日记
08-25 3309
B-tree在外部存储中的应用 大家知道我们在使用数据结构时，常常将其直接放置到内存中。但是大数据量只能放到磁盘中。这里要说的就是，在磁盘存储中，文件系统是如何利用B-tree结构来提高磁盘读取效率的。 首先来说一下内存和磁盘性能上的巨大差别。 大家知道数据在磁盘上存储在特定的扇区。因此要读写特定的数据，需要三步： 1，首先磁头必须移动到正确的磁道上。 2，然后需要等待磁片旋转，使磁
银行信贷风控数仓分层
12-30
### 银行信贷风险控制数据仓库分层架构设计 #### 三层架构概述 银行信贷风控数据仓库采用典型的分层架构，旨在提高数据处理效率并增强系统的可维护性和扩展性。该架构通常被划分为三个主要层次：原始数据管理层(ODS)，数据仓库层(DW)，以及应用数据管理层(ADM)[^2]。 #### 原始数据管理层 (ODS) 作为最底层的数据入口，ODS负责接收来自不同渠道的源系统数据，并对其进行初步清洗和转换操作。此阶段不会对数据进行复杂的加工或聚合计算，而是保持其接近于原始状态以便后续深入分析。对于银行信贷业务而言，这包括但不限于客户的交易记录、信用报告以及其他外部征信信息等[^3]。 #### 数据仓库层 (DW) ##### DWD - 数据明细层 在这一层级上，基于ODS中的基础数据构建详细的事实表与维度表，形成标准化的事实-维度模型。针对信贷风险管理需求特别关注借款人基本信息、贷款申请详情、还款历史等方面的数据细节描述[DWD（Data Warehouse Detail）]。 ##### DWM - 中间汇总层 进一步提炼自DWD层的信息，在这里实现了更高程度上的抽象概括——即通过对特定时间段内同类事件的发生频率统计或是跨多个实体之间的关联关系挖掘等方式得到更为综合性的指标数值。例如，月度逾期率趋势变化图谱可以帮助管理者更好地把握整体资产质量状况和发展态势[^4]。 ##### DWS - 应用服务层 最终面向各类前端应用程序提供经过高度精炼后的成品型数据集。此类资源可以直接用于支持实时查询请求、生成定期报表亦或是训练预测算法模型等活动之中。特别是在信贷审批流程里发挥着至关重要的作用，因为它能够迅速响应前台提出的各种复杂多变的要求，从而保障决策制定过程既高效又精准[^5]。 #### 应用数据管理层 (ADM) 处于顶层位置的应用数据管理层专注于满足具体的业务应用场景下的特殊要求。它不仅包含了前面提到过的营销集市所依赖的客户画像体系，还有专门为应对潜在违约风险而设立的风险评分机制及其配套预警功能模块。这些高级别的数据分析工具和服务共同构成了完整的信贷风控解决方案框架，确保金融机构能够在激烈的市场竞争环境中始终保持稳健的发展步伐[^1]。 ```sql -- SQL 示例：创建一个简单的视图来展示最近三个月内的新发放个人住房按揭贷款情况 CREATE VIEW Recent_Mortgage_Loans AS SELECT loan_id, customer_name, amount, start_date, end_date, interest_rate FROM loans WHERE product_type = 'Personal Mortgage' AND start_date >= DATE_SUB(CURRENT_DATE, INTERVAL 3 MONTH); ```
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值