黑马一站制造数仓实战2

问题
DG连接问题
原理：JDBC：用Java代码连接数据库
Hive/SparkSQL：端口有区别
可以为同一个端口，只要不在同一台机器
项目：一台机器

HiveServer：10000

hiveserver.port = 10000

SparkSQL：10001

start-thriftserver.sh --hiveserver.prot = 10001

MySQL：hostname、port、username、password
Oracle：hostname、port、username、password、sid

CS模式设计问题
Thrift启动问题
CS模式：客户端服务端模式
Client：客户端
Hive：Beeline、Hue
SparkSQL
Server：服务端
Hive：Hiveserver2【负责解析SQL语句】
HiveServer作为Metastore的客户端
MetaStore作为HiveServer的服务端
SparkSQL：ThriftServer【负责解析SQL语句转换为SparkCore程序】

启动ThriftServer或者HiveServer

docker start hadoop
docker start hive
docker start spark

问题：思路
现象：异常
Python：error：xxxxxx
Java：throw Exception：xxxxxxxxx
进程没有明显报错：找日志文件
日志文件：logs
查看日志：tail -100f logs/xxxxxxxx.log
分析错误
ArrayoutofIndex
NullException
ClassNotFound

数据仓库设计
建模：维度建模：【事实表、维度表】
分层：ODS、DW【DWD、DWM、DWS】、APP
本次项目中数仓的分层
ODS、DWD、DWB、DWS、ST、DM

数仓设计回顾
目标：了解数据仓库设计的核心知识点
路径
step1：分层
step2：建模
实施
分层
什么是分层？
本质：规范化数据的处理流程
实现：每一层在Hive中就是一个数据库
为什么要分层？
清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和解。
数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的一张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
把复杂问题简单化：一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。
屏蔽原始数据的异常对业务的影响：不必改一次业务就需要重新接入数据
怎么分层？
ODS：原始数据层/操作数据层，最接近与原始数据的层次，数据基本与原始数据
保持一致
DW：数据仓库层，实现数据的处理转换
DWD：实现ETL
DWM：轻度聚合
DWS：最终聚合
ADS/APP/DA：数据应用层
建模
什么是建模？
本质：决定了数据存储的方式，表的设计
为什么要建模？
大数据系统需要数据模型方法来帮助更好地组织和存储数据，以便在性能、成本、效率和质量之间取得最佳平衡。
性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的I/O吞吐
成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本
效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效率
质量：良好的数据模型能改善数据统计口径的不一致性，减少数据计算错误的可能性
有哪些建模方法？
ER模型：从全企业的高度设计一个 3NF 【三范式】模型，用实体关系模型描述企业业务，满足业务需求的存储
维度模型：从分析决策的需求出发构建模型，为分析需求服务，重点关注用户如何更快速的完成需求分析，具有较好的大规模复杂查询的响应性能
Data Vault：ER 模型的衍生，基于主题概念将企业数据进行结构化组织，并引入了更进一步的范式处理来优化模型，以应对源系统变更的扩展性
Anchor：一个高度可扩展的模型，核心思想是所有的扩展知识添加而不是修改，因此将模型规范到 6NF，基本变成了 k-v 结构化模型
怎么构建维度模型步骤？
a.选择业务过程：你要做什么？
b.声明粒度：你的分析基于什么样的颗粒度？
c.确认环境的维度：你的整体有哪些维度？
d.确认用于度量的事实：你要基于这些维度构建哪些指标？
具体的实施流程是什么？
a.需求调研：业务调研和数据调研
业务调研：明确分析整个业务实现的过程
数据调研：数据的内容是什么
b.划分主题域：面向业务将业务划分主题
构建哪些主题域以及每个主题域中有哪些主题
服务域：工单主题、回访主题、物料主题
c.构建维度总线矩阵：明确每个业务主题对应的维度关系

d.明确指标统计：明确所有原生指标与衍生指标
工单主题：安装工单个数、维修工单个数……
回访主题：用户满意个数、不满意个数、服务态度不满意个数、技术能力不满意个数
e.定义事实与维度规范
分层规范
开发规范
……
f.代码开发
事实表
表的分类
事务事实表：原始的事务事实的数据表，原始业务数据表
周期快照事实表：周期性对事务事实进行聚合的结果
累计快照事实表：随着时间的变化，事实是不定的，不断完善的过程
无事实事实表：特殊的事实表，里面没有事实，是多个维度的组合，用于求事实的差值
值的分类
可累加事实：在任何维度下指标的值都可以进行累加
半可累加事实：在一定维度下指标的值都可以进行累加
不可累加事实：在任何维度下指标的值都不可以进行累加
维度表
维度设计模型
雪花模型：维度表拥有子维度表，部分维度表关联在维度表中，间接的关联事实表
星型模型/星座模型：维度表没有子维度，直接关联在事实表上，星座模型中有多个事实
上卷与下钻
上卷：从小维度到一个大的维度，颗粒度从细到粗
下钻：从大维度到一个小的维度，颗粒度从粗到细
拉链表
功能：解决事实中渐变维度发生变化的问题，通过时间来标记维度的每一种状态，存储所有状态
实现
step1：先采集所有增量数据到更新表中
step2：将更新表的数据与老的拉链表的数据进行合并写入一张临时表
step3：将临时表的结果覆盖到拉链表中

掌握油站分析项目中的分层整体设计

ODS：原始数据层：最接近于原始数据的层次，直接采集写入层次：原始事务事实表
DWD：明细数据层：对ODS层的数据根据业务需求实现ETL以后的结果：ETL以后事务事实表
DWB：基础数据层：类似于以前讲解的DWM，轻度聚合
关联：将主题事实的表进行关联，所有与这个主题相关的字段合并到一张表
聚合：基于主题的事务事实构建基础指标
主题事务事实表
ST：数据应用层：类似于以前讲解的APP，存储每个主题基于维度分析聚合的结果：周期快照
事实表
供数据分析的报表
DM：数据集市：按照不同部门的数据需求，将暂时没有实际主题需求的数据存储
做部门数据归档，方便以后新的业务需求的迭代开发
DWS：维度数据层：类似于以前讲解的DIM：存储维度数据表
数据仓库设计方案
从上到下：在线教育：先明确需求和主题，然后基于主题的需求采集数据，处理数据
场景：数据应用比较少，需求比较简单

掌握油站分析的每层的具体功能
实施
ODS
数据内容：存储所有原始业务数据，基本与Oracle数据库中的业务数据保持一致
数据来源：使用Sqoop从Oracle中同步采集
存储设计：Hive分区表，avro文件格式存储，保留3个月
DWD
数据内容：存储所有业务数据的明细数据
数据来源：对ODS层的数据进行ETL扁平化处理得到
存储设计：Hive分区表，orc文件格式存储，保留所有数据
DWB
数据内容：存储所有事实与维度的基本关联、基本事实指标等数据
数据来源：对DWD层的数据进行清洗过滤、轻度聚合以后的数据
存储设计：Hive分区表，orc文件格式存储，保留所有数据
ST
数据内容：存储所有报表分析的事实数据
数据来源：基于DWB和DWS层，通过对不同维度的统计聚合得到所有报表事实的指标
DM
数据内容：存储不同部门所需要的不同主题的数据
数据来源：对DW层的数据进行聚合统计按照不同部门划分
DWS
数据内容：存储所有业务的维度数据：日期、地区、油站、呼叫中心、仓库等维度表
数据来源：对DWD的明细数据中抽取维度数据
存储设计：Hive普通表，orc文件 + Snappy压缩
特点：数量小、很少发生变化、全量采集

全量表与增量表数据采集需求
实施
全量表
所有维度数据表
场景：不会经常发生变化的数据表，例如维度数据表等
数据表：组织机构信息、地区信息、服务商信息、数据字典等
表名：参考文件《full_import_tables.txt》
增量表
所有事务事实的数据表
场景：经常发生变化的数据表，例如业务数据、用户行为数据等
数据表：工单数据信息、呼叫中心信息、物料仓储信息、报销费用信息等
表名：参考文件《incr_import_tables.txt》

Sqoop命令

连接Oracle语法

--connect jdbc:oracle:thin:@OracleServer:OraclePort:OracleSID 1

docker exec -it sqoop bash

sqoop import \
--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
--username ciss \
--password 123456 \
--table CISS4.CISS_BASE_AREAS \
--target-dir /test/full_imp/ciss4.ciss_base_areas \
--fields-terminated-by "\t" \
-m 1

YARN常用端口

NameNode：8020,50070
ResourceManager：8032,8088
JobHistoryServer：19888
Master：7077,8080
HistoryServer：18080

程序提交成功，但是不运行而且不报错，什么问题，怎么解决？
资源问题：APPMaster就没有启动
环境问题
NodeManager进程问题：进程存在，但不工作
机器资源不足导致YARN或者HDFS服务停止：磁盘超过90%，所有服务不再工作
解决：实现监控告警：80%，邮件告警

YARN中程序运行失败的原因遇到过哪些？
代码逻辑问题
资源问题：Container
Application / Driver：管理进程
MapTask和ReduceTask / Executor：执行进程
解决问题：配置进程给定更多的资源

程序已提交YARN，但是无法运行，报错：Application is added to the