qq_43159264的博客

1、上阿里云或者github上找代码 2、打成jar包 3、放在flink安装目录的lib下 4、重启flink集群 注意：1、lib下的jar包也许会被污染，报错： 解决：pom依赖加上 provided 2、没有生效的，会报没有生成sink或者语法不对 ...

数仓建模 指标:事务型指标，存量型指标，复合指标 数据层:操作数据层，公共纬度模型层，应用数据层， 构建过程 1、高层模型，对产出目标，进行维表和事实表进行图形描述 2、详细模型，对模型进行数据填充 3、验证，再设计 4、出文档 基本原则 1、一致性，字段名等统一 2、命名清晰可理解 3、高内聚低耦合 4、核心模型与扩展模型分离 5、公共处理逻辑下沉及单一 6、成本无性能平衡 纬度设计过程 1、确定主纬表 2、确定相关纬表 3、确定维度属性 维度表类型 维度表处理方法 1、雪花模型的纬度进行反规范化 2、拆

1、上传spark的程序jar包 2、spark命令，提交任务 3、如果任务正常跑，点入yarn的管理页面，点击applicationmaster，进入spark的调度页面，可以看到job、stage的划分、excuter的个数 4、如果失败用yarn命令下载日志：yarn logs -applicationId 任务id >logs.txt。查看失败原因。或者点击yarn页面applicationid进入，可看到部分日志 ...

概述 1、组件：webserver,excuterserver,mysql 2、任务，任务流程 3、任务脚本传参${param} 4、执行状态邮件 5、只支持上传zip包

https://www.cnblogs.com/huajiezh/p/6020880.html 大数据分析神兽麒麟(Apache Kylin) 1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）往往存在很大的局限，如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持；而利用Hadoop做数据分析依然存在诸多障碍，例如大多数分析师只习惯使用SQL，Hadoop难以实现快速交互式

分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。 分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。 ...

https://www.cnblogs.com/qinglanmei/p/11455010.html clear cdh log rm /var/lib/cloudera-host-monitor/ts//partition/* -rf rm /var/lib/cloudera-service-monitor/ts//partition/* -rf rm -rf /var/log/cloudera-scm-eventserver/.out. rm -rf /var/log/cloudera-scm-fire

Hbase（待整理） 基本理论 1、Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。 2、Hbase为null的记录不会被存储. 3、表包含rowkey，时间戳，和列族 4、 hbase是主从架构。hmaster作为主节点，hregionserver作为从节点。 5、Hive 可以用来进行统计查询，HBase 可以用来进行实时查询，数据也可以从Hive 写到Hbase，设置再从Hbase 写回Hive。 6、HBase SQL 的功能可以通过Apac

版本： 架构： 待续