数据仓库维度建模实践-体系搭建-网易01.pdf

数据仓库维度建模实践-体系搭建-网易01.pdf 本文档介绍了数据仓库维度建模实践的基本概念和体系搭建方法，从数据仓库的定义到维度建模的应用，涵盖了数仓建设体系的总体架构、数据模型层次、业务过程和维度的梳理、数据域的划分等内容。 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据建模是将数据进行有序、有结构地分类组织和存储的方法。 在数据仓库建设中，维度建模是主要的建模方法，维度模型是由Ralph Kimball所倡导的。大师著作的《The Data Warehouse Toolkit-The Complete Guide to Dimensional Modeling》是数仓工程领域最流行的维度建模经典。 在具体建模之前，需要规划好我们的数据体系架构，划定边界，搭建统一规范的体系架构。网易内部使用的数据平台是网易数帆旗下的网易易数，一个提供数据开发、数据治理、数据分析及可视化、数据服务、数据应用的一站式全链路数据生产力平台。 在数据模型层次中，需要定义好模型层次，规划好每个层次该做什么事情，包括明细层、轻度汇总层、主题层、应用层等。目前应用广泛的是如下三层数据模型：操作数据层（ODS）、公共模型层（DWD和DWS）、应用数据层（ADS）。 在公共模型层中，DWD层存储的是明细数据，面向业务过程建模。DWS层是公共汇总数据层，面向分析主题建模，为上层数据产品、分析、应用和服务等提供公共计算指标。DIM层是公共维度表，用于建立一致性维度数据，规范化维度属性，降低数据计算口径和算法不一致风险。 在业务过程和维度的梳理中，需要了解业务过程、度量、维度、维度属性的含义。业务过程是企业活动中的具体的、不可拆分的行为事件，如播放、下载、分享等。度量是对某一业务过程行为的度量，也称原子指标，不能继续拆分。维度是实体对象，描述的是度量的环境，是我们观察业务的角度。维度属性是一个维度里面的具体属性。 在数据域的划分中，需要了解数据域的概念，数据仓库是面向主题的应用。主题是一个抽象概念，是在较高层次上将企业数据进行综合、归类和分析利用的一个抽象，比如用户主题、营收主题、社交主题等。主题细分的话可以分成业务主题和分析主题，业务主题面向业务过程，分析主题面向汇总层。