数仓笔记 二

数仓学习笔记.docx

数仓笔记.sql

在这个笔记中，我们将深入探讨数仓4.0的核心概念、特点以及它如何改变数据分析的格局。 首先，数仓4.0是对传统数仓的升级，它在数仓3.0的基础上进一步融合了云计算、大数据处理、人工智能（AI）和机器学习等先进...

第一章对数据仓库的迫切需求...................................................................................................23 本章目标：.............................................................................................................................23 对战略性信息的迫切需求.....................................................................................................24 信息危机.................................................................................................................................26 技术趋势.................................................................................................................................27 机遇和风险.............................................................................................................................28 过去决策支持系统的失败.....................................................................................................29 决策支持系统的历史.............................................................................................................30 不能提供信息.........................................................................................................................31 操作型系统和决策支持系统.................................................................................................31 使商业运转起来.............................................................................................................31 监视商业的运转.............................................................................................................32 不同的范围，不同的目的.............................................................................................32 数据仓库——唯一可行的解决方案.....................................................................................33 一种新类型的系统环境.................................................................................................34 新环境的需求处理.........................................................................................................34 数据仓库的商业智能.....................................................................................................34 数据仓库的定义.....................................................................................................................35 一个关于信息传递的简单定义.....................................................................................35 一个环境，而不是产品.................................................................................................36 多种技术的混合.............................................................................................................36 本章小结.................................................................................................................................36 思考题.....................................................................................................................................37 复习题.....................................................................................................................................37 第二章数据仓库的组成部分.......................................................................................................39 本章目标.................................................................................................................................39 定义的特点.............................................................................................................................40 面向主题的数据.............................................................................................................40 6 完整的数据.....................................................................................................................41 有时间特性的数据.........................................................................................................42 数据的不变性.................................................................................................................43 数据粒度.........................................................................................................................43 数据仓库和数据集市.............................................................................................................44 它们有什么不同？.........................................................................................................45 数据仓库的组成部分.............................................................................................................48 源数据部分.....................................................................................................................48 数据准备部分.................................................................................................................50 数据存储部分.................................................................................................................53 信息传递部分.................................................................................................................53 元数据部分.....................................................................................................................54 管理和控制部分.............................................................................................................54 数据仓库中的元数据.............................................................................................................54 元数据的类型.................................................................................................................55 特别指出的意义.............................................................................................................55 本章小结.................................................................................................................................55 思考题.....................................................................................................................................56 复习题.....................................................................................................................................56 第三章数据仓库的发展趋势.......................................................................................................58 本章目标.................................................................................................................................58 数据仓库的持续成长.............................................................................................................59 数据仓库正在成为主流.................................................................................................59 数据仓库的扩张.............................................................................................................60 解决方案和产品.............................................................................................................61 重要趋势.................................................................................................................................63 多种数据类型.................................................................................................................63 数据可视化.....................................................................................................................65 并行处理.........................................................................................................................66 查询工具.........................................................................................................................67 7 浏览工具.........................................................................................................................67 数据融合.........................................................................................................................68 多维分析.........................................................................................................................69 代理技术.........................................................................................................................69 从外部信息提供企业获得的数据.................................................................................69 数据仓库和ERP ............................................................................................................70 数据仓库和知识管理.....................................................................................................71 数据仓库和CRM...........................................................................................................72 动态数据仓库存储.........................................................................................................72 标准的出现.............................................................................................................................73 元数据.............................................................................................................................74 OLAP..............................................................................................................................74 实现WEB 技术的数据仓库..................................................................................................75 将数据仓库放入Web 中................................................................................................75 将Web 技术引入到数据仓库........................................................................................76 实现Web 技术的配置...................................................................................................77 本章小结.................................................................................................................................77 思考题.....................................................................................................................................78 复习题.....................................................................................................................................79 第四章规划和项目管理.............................................................................................................80 本章目标.................................................................................................................................80 规划你的数据仓库.................................................................................................................81 关键问题.........................................................................................................................81 商业的需求，而不是技术上的.....................................................................................83 一把手原则.....................................................................................................................84 数据仓库的可行性分析.................................................................................................84 全面的计划.....................................................................................................................85 数据仓库项目.........................................................................................................................86 有什么不同？.................................................................................................................87 准备情况的评估.............................................................................................................88 8 生命周期方法.................................................................................................................89 开发阶段.........................................................................................................................90 项目团队.................................................................................................................................91 组织项目团队.................................................................................................................92 角色和责任.....................................................................................................................92 技能和经验水平.............................................................................................................95 用户参与.........................................................................................................................97 项目管理需要考虑的事项.....................................................................................................98 项目管理的原则.............................................................................................................99 警告征兆.......................................................................................................................100 成功的因素...................................................................................................................101 一个成功项目的细审...................................................................................................102 采用一个实用的方法...................................................................................................103 本章小结...............................................................................................................................104 思考题...................................................................................................................................104 复习题...................................................................................................................................105 第五章定义商业需求...............................................................................................................106 本章目标...............................................................................................................................106 维度分析...............................................................................................................................106 不可预知信息的使用...................................................................................................106 商业数据的维度...........................................................................................................107 商业维度的例子...........................................................................................................108 信息包——一个新概念.......................................................................................................109 不完全确定的需求.......................................................................................................109 商业维度.......................................................................................................................110 维度层次和范畴........................................................................................................... 111 关键商业指标或事实...................................................................................................112 收集需求的方法...................................................................................................................113 采访技巧.......................................................................................................................114 采用联合应用程序设计方法.......................................................................................117 9 回顾已有的文档...........................................................................................................119 需求定义：范围和内容.......................................................................................................120 数据源...........................................................................................................................120 数据转换.......................................................................................................................121 数据存储.......................................................................................................................121 信息传递.......................................................................................................................121 信息包图表...................................................................................................................122 需求定义文档大纲.......................................................................................................122 本章小结...............................................................................................................................122 思考题...................................................................................................................................123 复习题...................................................................................................................................123 第六章需求——数据仓库的驱动力.......................................................................................125 本章目标...............................................................................................................................125 数据设计...............................................................................................................................126 商业维度的结构...........................................................................................................127 关键衡量指标的结构...................................................................................................127 详细程度.......................................................................................................................127 体系结构规划.......................................................................................................................128 组成部分的构成...........................................................................................................129 特别考虑的问题...........................................................................................................130 工具和产品...................................................................................................................132 数据存储规范.......................................................................................................................133 数据库管理系统的选择...............................................................................................134 存储规模估计...............................................................................................................135 信息传递策略.......................................................................................................................136 查询和报表...................................................................................................................136 分析的类型...................................................................................................................137 信息发布.......................................................................................................................137 成长和扩展...................................................................................................................137 本章小结...............................................................................................................................138 10 思考题...................................................................................................................................138 复习题...................................................................................................................................139 第七章体系结构及其组成部分...............................................................................................140 本章目标...............................................................................................................................140 了解数据仓库的体系结构...................................................................................................140 体系结构：定义...........................................................................................................140 三个主要区域的体系结构...........................................................................................141 有区别的特性.......................................................................................................................142 不同的目标和范围.......................................................................................................142 数据内容.......................................................................................................................143 复杂分析和快速响应...................................................................................................143 灵活性和动态性...........................................................................................................144 元数据驱动...................................................................................................................144 体系结构框架.......................................................................................................................144 支持数据流的体系结构...............................................................................................144 管理和控制模块...........................................................................................................145 技术性体系结构...................................................................................................................146 数据获取.......................................................................................................................147 数据存储.......................................................................................................................150 信息传递.......................................................................................................................152 本章小结...............................................................................................................................153 思考题...................................................................................................................................154 复习题...................................................................................................................................154 第八章数据仓库的基本构造...................................................................................................156 本章目标...............................................................................................................................156 支持体系结构的基本构造...................................................................................................156 操作型基本结构...........................................................................................................157 物理基本构造...............................................................................................................158 硬件和操作系统...................................................................................................................159 平台选择.......................................................................................................................160 11 服务器硬件...................................................................................................................168 数据库软件...........................................................................................................................172 并行处理方案...............................................................................................................173 查询间的并行...............................................................................................................173 查询内并行...................................................................................................................173 数据库管理系统的选择...............................................................................................175 工具集合.......................................................................................................................176 体系结构先行，然后才是工具...................................................................................177 本章小结...............................................................................................................................179 思考题...................................................................................................................................180 复习题...................................................................................................................................180 第九章元数据的重要角色.......................................................................................................182 本章目标...............................................................................................................................182 元数据的重要性...................................................................................................................182 数据仓库的关键需求...................................................................................................184 使用数据仓库...............................................................................................................185 构建数据仓库...............................................................................................................185 管理数据仓库...............................................................................................................186 谁需要元数据？...........................................................................................................187 元数据就像一个神经中枢...........................................................................................187 为什么元数据对最终用户是关键的...........................................................................188 为什么元数据IT 人员来说是关键的.........................................................................190 数据仓库任务自动化...................................................................................................192 建立信息上下文...........................................................................................................193 按功能区域划分的元数据类型...................................................................................194 数据获取.......................................................................................................................195 数据存储.......................................................................................................................196 信息传递.......................................................................................................................197 商业元数据...........................................................................................................................198 内容总揽.......................................................................................................................199 12 商业元数据举例...........................................................................................................199 内容重点.......................................................................................................................200 谁会受益？...................................................................................................................201 技术元数据...........................................................................................................................201 内容总揽.......................................................................................................................201 技术元数据举例...........................................................................................................202 内容重点.......................................................................................................................203 谁会受益？...................................................................................................................204 如何提供元数据...........................................................................................................204 元数据需求...................................................................................................................205 元数据的来源...............................................................................................................207 元数据管理的挑战...............................................................................................................209 元数据存储区...............................................................................................................209 元数据集成与标准.......................................................................................................211 实施选项.......................................................................................................................212 本章总结...............................................................................................................................213 思考题...................................................................................................................................214 复习题...................................................................................................................................215 第十章维度建模的原则...........................................................................................................216 本章目标...............................................................................................................................216 从需求到数据设计...............................................................................................................216 设计决策.......................................................................................................................216 维度建模基础...............................................................................................................217 E-R 建模与维度建模的对比.......................................................................................220 使用Case 工具.............................................................................................................221 星形模式...............................................................................................................................222 一个简单的星形模式的回顾.......................................................................................222 维表的内容...................................................................................................................223 事实表的内容...............................................................................................................225 不含事实的事实表.......................................................................................................227 13 数据粒度.......................................................................................................................228 星形模式的键.......................................................................................................................229 主键...............................................................................................................................229 替代键...........................................................................................................................230 外键...............................................................................................................................230 星形模式的优势...................................................................................................................231 用户容易理解...............................................................................................................231 优化浏览.......................................................................................................................232 最适于查询处理...........................................................................................................232 星形连接和星形索引...................................................................................................233 本章总结...............................................................................................................................234 思考题...................................................................................................................................234 复习题...................................................................................................................................234 第十一章维度建模：高级专题...............................................................................................236 本章目标...............................................................................................................................236 维表的更新...........................................................................................................................236 慢速变化维...................................................................................................................237 第1 类修改：改正错误...............................................................................................238 第2 类修改：保存历史数据.......................................................................................239 第3 类修改：暂时的（软性的）修改.......................................................................240 各式各样的维度...................................................................................................................241 大维度...........................................................................................................................242 多层次结构...................................................................................................................243 快速变化维...................................................................................................................243 废弃维度.......................................................................................................................244 雪花形结构...........................................................................................................................245 规范化选项...................................................................................................................245 优势与劣势...................................................................................................................246 什么时候使用雪花形结构...........................................................................................247 聚集事实表...........................................................................................................................247 14 事实表的大小...............................................................................................................249 聚集的需求...................................................................................................................251 对事实表进行聚集.......................................................................................................251 聚集的选项...................................................................................................................257 星形模式族...........................................................................................................................258 快照表和实务表...........................................................................................................259 核心表和定制表...........................................................................................................260 支持企业价值链或者价值环.......................................................................................261 使维度一致...................................................................................................................262 将事实标准化...............................................................................................................263 星形模式族小结...........................................................................................................263 本章总结...............................................................................................................................263 思考题...................................................................................................................................264 复习题...................................................................................................................................264 第十二章数据抽取、转换和装载...........................................................................................266 本章目标...............................................................................................................................266 ETL 概观..............................................................................................................................267 最重要和最具有挑战性...............................................................................................267 耗时而且费劲...............................................................................................................268 ETL 的需求和步骤......................................................................................................269 关键因素.......................................................................................................................270 数据抽取...............................................................................................................................271 数据源确认...................................................................................................................272 数据抽取技术...............................................................................................................273 技术的评估...................................................................................................................278 数据转换...............................................................................................................................281 数据转换：基本任务...................................................................................................282 主要转换类型...............................................................................................................282 数据整合和合并...........................................................................................................284 维度属性的转换...........................................................................................................286 15 如何实施转换...............................................................................................................286 数据装载...............................................................................................................................288 应用数据：技术和过程...............................................................................................289 数据刷新和更新的对比...............................................................................................291 维表的过程...................................................................................................................292 事实表：历史装载与增量装载...................................................................................292 ETL 总结..............................................................................................................................293 ETL 工具选项..............................................................................................................294 强调ETL 中的元数据（Metadata）...........................................................................295 ETL 的总结和方法......................................................................................................295 本章总结...............................................................................................................................297 思考题...................................................................................................................................297 复习题...................................................................................................................................298 第十三章数据质量：成功的关键...........................................................................................299 本章目标...............................................................................................................................299 为什么数据质量如此重要...................................................................................................300 什么是数据质量...........................................................................................................300 提高数据质量的好处...................................................................................................303 数据质量问题的类型...................................................................................................304 数据质量带来的挑战...........................................................................................................307 数据污染的来源...........................................................................................................307 姓名和地址的有效性...................................................................................................308 数据质量低的代价.......................................................................................................310 数据质量工具.......................................................................................................................310 数据清洗工具的目录...................................................................................................311 错误发现特性.............................................................................................................311 数据修正特性.............................................................................................................311 数据库管理系统的质量控制.......................................................................................312 确保数据质量的第一步.......................................................................................................312 数据清洗的决策...........................................................................................................313 16 谁应该负责？...............................................................................................................316 净化过程.......................................................................................................................317 对数据质量的实用建议...............................................................................................319 本章总结...............................................................................................................................319 思考题...................................................................................................................................320 复习题...................................................................................................................................320 第十四章信息和用户类型之间的匹配...................................................................................322 本章目标...............................................................................................................................322 数据仓库的信息...................................................................................................................323 数据仓库VS 操作型系统....................................................................................................323 信息潜力.......................................................................................................................325 全面的企业管理...........................................................................................................325 在商业领域的信息潜力...............................................................................................326 用户信息接口...............................................................................................................327 信息使用模式...............................................................................................................327 行业应用...............................................................................................................................329 谁将使用这些信息？...................................................................................................330 用户的种类...................................................................................................................330 他们需要什么...............................................................................................................332 怎样为用户提供信息...................................................................................................336 信息传送机制.......................................................................................................................337 查询...............................................................................................................................337 报表...............................................................................................................................339 应用系统.......................................................................................................................341 信息传送工具.......................................................................................................................341 桌上型电脑环境...........................................................................................................342 工具选择的方法学.......................................................................................................342 选择工具的标准...........................................................................................................345 信息传送框架.......................................................................................................................347 本章总结...............................................................................................................................347 17 思考题...................................................................................................................................348 复习题...................................................................................................................................348 第十五章数据仓库中的联机分析处理(OLAP)......................................................................350 本章目标...............................................................................................................................350 联机分析处理的要求...........................................................................................................351 对多维分析的需要.......................................................................................................351 快速的访问和强大的计算...........................................................................................352 其它分析方法的局限性...............................................................................................354 联机分析处理（OLAP）是用户需要的答案............................................................356 OLAP 的定义和规则...........................................................................................................357 OLAP 特征...................................................................................................................359 主要的特征和功能...............................................................................................................359 一般的特征...................................................................................................................360 维度分析.......................................................................................................................360 什么是超立方体？.......................................................................................................363 下钻和概括化的操作...................................................................................................364 多层次/多视角查看或旋转的操作..............................................................................365 OLAP 的使用和从中获得的好处...............................................................................366 OLAP 模型...........................................................................................................................366 变种的概述...................................................................................................................367 MOLAP 模型................................................................................................................367 ROLAP 模型.................................................................................................................368 ROLAP VS MOLAP.....................................................................................................368 OLAP 执行的考虑事项.......................................................................................................369 数据设计和准备...........................................................................................................369 管理和性能...................................................................................................................371 OLAP 平台...................................................................................................................373 OLAP 工具和产品.......................................................................................................374 执行步骤.......................................................................................................................375 本章总结...............................................................................................................................375 18 思考题...................................................................................................................................376 练习题...................................................................................................................................376 第十六章数据仓库和 Web ......................................................................................................378 本章目标...............................................................................................................................378 支持Web 的数据仓库.........................................................................................................379 为什么是Web？ ..........................................................................................................379 技术的结合...................................................................................................................381 调整数据仓库使它能够支持Web...............................................................................382 作为数据源的Web ......................................................................................................383 基于Web 的信息传送机制.................................................................................................384 扩展了数据仓库的使用...............................................................................................384 新的信息策略...............................................................................................................386 数据仓库的浏览器技术...............................................................................................388 安全问题.......................................................................................................................390 OLAP 和Web.......................................................................................................................390 企业OLAP ...................................................................................................................390 Web-OLAP 方法...........................................................................................................391 OLAP 引擎的设计.......................................................................................................391 建立一个支持Web 的数据仓库..........................................................................................392 数据仓库的本质...........................................................................................................393 对如何实现数据仓库的考虑.......................................................................................394 将组件放在一起...........................................................................................................395 Web 处理模型..............................................................................................................396 本章总结...............................................................................................................................396 思考题...................................................................................................................................397 练习题...................................................................................................................................397 第十七章数据挖掘基础...........................................................................................................399 本章目标...............................................................................................................................399 数据挖掘是什么？...............................................................................................................400 定义数据挖掘...............................................................................................................400 19 知识发现过程...............................................................................................................401 OLAP VS 数据挖掘............................................................................................................403 数据挖掘和数据仓库...........................................................................................................404 主要的数据挖掘技术...........................................................................................................405 聚类（cluster） ............................................................................................................406 决策树...........................................................................................................................408 基于记忆的推理...........................................................................................................409 关联分析.......................................................................................................................410 神经网络.......................................................................................................................411 遗传算法.......................................................................................................................412 进入数据挖掘...............................................................................................................413 数据挖掘应用程序...............................................................................................................415 数据挖掘的收益...........................................................................................................416 在零售业的应用...........................................................................................................417 在通信行业上的应用...................................................................................................418 在银行和金融业的应用...............................................................................................419 本章总结...............................................................................................................................419 思考题...................................................................................................................................420 练习题...................................................................................................................................420 第十八章物理设计过程...........................................................................................................422 本章目标...............................................................................................................................422 物理设计步骤.......................................................................................................................422 建立规范.......................................................................................................................423 建立聚集计划...............................................................................................................423 确定数据分区方案.......................................................................................................424 建立聚簇选项...............................................................................................................424 准备索引策略...............................................................................................................425 安排存储结构...............................................................................................................425 完成物理建模...............................................................................................................426 物理设计要点.......................................................................................................................426 20 物理设计目标...............................................................................................................426 物理模型的组成...........................................................................................................428 规范的意义...........................................................................................................................429 数据库对象的命名.......................................................................................................429 物理存储.......................................................................................................................431 存储区数据结构...........................................................................................................431 优化存储.......................................................................................................................432 使用RAID 技术...........................................................................................................434 数据仓库索引.......................................................................................................................435 索引一览.......................................................................................................................435 B-Tree 索引..................................................................................................................437 位图索引.......................................................................................................................437 簇索引...........................................................................................................................438 索引事实表...................................................................................................................438 维表索引.......................................................................................................................439 提高性能的技术...................................................................................................................439 数据分区.......................................................................................................................440 数据聚簇.......................................................................................................................441 并行查询.......................................................................................................................441 汇总级别.......................................................................................................................442 参考一致性检查...........................................................................................................442 初始化参数...................................................................................................................442 本章总结...............................................................................................................................443 思考题...................................................................................................................................443 练习题...................................................................................................................................444 第十九章数据仓库部署...........................................................................................................445 本章目标...............................................................................................................................445 部署的主要任务...................................................................................................................446 完成用户接受...............................................................................................................446 执行初始加载...............................................................................................................447 21 准备用户桌面...............................................................................................................448 完成初始用户培训.......................................................................................................449 制订最初用户支持.......................................................................................................449 部署筹备.......................................................................................................................450 一个领航系统.......................................................................................................................451 什么时候领航系统数据集市有用？...........................................................