(46)构建cube

最新推荐文章于 2024-07-10 10:10:26 发布
最新推荐文章于 2024-07-10 10:10:26 发布
阅读量569 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 离线数仓 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/song_quan_/article/details/118785923
1）点击 new， 并点击 new cube

 2）填写 cube 信息，选择 cube 所依赖的 model，并点击 next

3）选择所需的维度，如下图所示

 4）选择所需度量值，如下图所示

 

4）cube 自动合并设置，cube 需按照日期分区字段每天进行构建，每次构建的结果会保存在
Hbase 中的一张表内，为提高查询效率，需将每日的 cube 进行合并，此处可设置合并周期。

 5）Kylin 高级配置（优化相关，暂时跳过）

 6）Kylin 相关属性配置覆盖

 7）Cube 信息总览，点击 Save，Cube 创建完成

 8）构建 Cube（计算），点击对应 Cube 的 action 按钮，选择 build

 9）选择要构建的时间区间，点击 Submit

 10）点击 Monitor 查看构建进度

 

 

大数据Kylin（六）：Kylin构建Cube算法
Lansonli（蓝深李）的博客
03-06 2850
by-layer” Cubing把一个大任务划分为许多步骤，每一步骤的计算依赖于上一个步骤的输出结果，所以当某一个步骤的计算出现问题时，可以再次读取上一步骤的结果重新计算，而不用从头开始。在player-1，根据源数据得到1个4-D的cuboid；Kylin在计算Cube之前对数据进行采样，在“fact distinct”步，利用HyperLogLog模拟去重，估算每种组合有多少不同的key，从而计算出每个Mapper输出的数据大小，以及所有Mapper之间数据的重合度，据此来决定采用哪种算法更优。
大数据Kylin（七）：Kylin构建Cube实战
Lansonli（蓝深李）的博客
03-07 638
根据“CreateData.java”文件生成对应的事实表，然后执行SQL语句将对应的维度表和事实表导入到Hive中。维度表region_tbl，数据如下：G01|北京G02|江苏G03|浙江G04|上海G05|广州维度表city_tbl，数据如下：G01|G0101|朝阳G01|G0102|海淀G02|G0201|南京G02|G0202|宿迁G03|G0301|杭州G03|G0302|嘉兴G04|G0401|徐汇G04|G0402|虹口G05|G0501|广州。
Kylin实践（二）--Cube构建
热门推荐
isscici06的专栏
06-11 1万+
接上篇：Kylin实践（一）--Hadoop环境搭建 https://blog.csdn.net/isscici06/article/details/80624797 ------------------------------------------------------------------------------------------------------------------...
Cube的构建过程
weixin_34077371的博客
06-23 742
为什么80%的码农都做不了架构师？>>> ...
Kylin 之Cube 构建优化
程序员学习圈
01-20 762
    从之前章节的介绍可以知道，在没有采取任何优化措施的情况下，Kylin会对每一种维度的组合进行预计算，每种维度的组合的预计算结果被称为Cuboid。假设有4个维度，我们最终会有24 =16个Cuboid需要计算。     但在现实情况中，用户的维度数量一般远远大于4个。假设用户有10 个维度，那么没有经过任何优化的Cube就会存在210 =1024个Cuboid；而如果用户有20个维度，那...
kylin cube创建
千淘万漉
12-03 672
转自kylin的官方文档 http://kylin.apache.org/cn/docs/tutorial/create_cube.html Cube 创建 I. 新建项目 由顶部菜单栏进入 Model 页面，然后点击 Manage Projects。 点击 + Project 按钮添加一个新的项目。 填写下列表单并点击 submit 按钮提交请求。 ...
Kylin之Cube构建原理
lixinkuan的博客
02-10 1463
目录 一、Cube构建流程 1.1、创建中间表 1.2、将中间表的数据均匀分配到不同的文件 1.3、创建维度字典表 1.4、多维度构建cube（重要） 1.5、Hbase K-V映射 1.6、将cube data转成HFile格式并导入HBase 二、Cube构建算法 2.1、逐层构建算法（layer） 2.2、快速构建算法（inmem） 一、Cube构建流程 1.1、创建...
大数据Kylin（四）：Kylin创建cube
Lansonli（蓝深李）的博客
03-03 671
请注意，如果没有字典编码，cube 的大小可能会非常大。虽然衍生维度具有很大的吸引力，但是并不代表所有维度表上的维度都可以编程衍生维度，如果从维度表主键到某个维度表维度所需要的聚合工作量很大，例如：统计每年E订单金额M，基本上需要365:1的聚合量，那么可以将E设置成为一个基本维度，而不是一个衍生维度更合适。在kylin中，事实表与维度表关联时，类似使用主外键关联，事实表中有“外键-FK”，维度表中有“主键-PK”，如果在事实表中选择了FK为一个维度，那么相关的PK将自动查询，没有任何额外的开销。
4.kylin的Cube的构建优化
First_____的博客
03-19 2075
一丶Cube的构建算法 逐层构建算法: 说明:我们知道,在逐层算法中,按维度层数减少来计算,每一层级的计算,是基于他上一层级的结果来计算的,每一轮的计算都是一个 MapReduce 任务，且串行执行；一个 N 维的Cube，至少需要 N 次 MapReduce Job。 图解: 优点: 此算法充分利用了 MapReduce 的优点，处理了中间复杂的排序和 shuffle 工作，故 而算法代码清晰简单，易于维护； 受益于 Hadoop 的日趋成熟，此算法非常稳定，即便是集群资源紧张时，也能保证 最终能够完
kylin的Cube构建原理及优化
wenzi880607的专栏
05-21 1456
Kylin的Cube构建原理 cube的构建主要有两种算法：逐层构建算法、快速构建算法，无论是采用哪种算法，首先是从Hive表中拉取数据，根据配置的星型模型，把hive中涉及的表关联起来，并拉取所有的字段形成一个中间层的宽表，如图 然后根据落地中间表的数据生成cube 逐层构建算法： 一个N维的Cube,是由1个N维的立方体、N个（N-1）维子立方体、N*(N-1)/2个（N-2)维子立方体、.....、N个1维子立方体和1个0维子立方体构成，总共由2^N个子立方体组成，逐层算法中，就是按照
Cubejs是一个开源模块化框架用于构建分析Web应用程序
08-08
JavaScript开发 Cubejs是一个开源模块化框架用于构建分析Web应用程序
cube模型新手系列教程
11-19
cube模型新手系列教程，新手上路必备。
kylin创建cube
奋斗的小鸟专栏
09-25 2145
  创建立方体(Cube)   参考文档： 播客：http://tech.meiyou.com/?p=97 官网创建cube: http://kylin.apache.org/cn/docs15/tutorial/create_cube.html   Cube执行原理： 1、创建Cube: 2、编译Cube(Build Cube): 定义好Cube之后，Apa...
Kylin(二)：Cube构建原理和优化、BI工具集成
学习记录和总结
07-08 4081
Kylin Cube构建原理和优化
Kylin 快速入门 （二）创建Cube
weixin_45417821的博客
01-26 515
文章目录创建Cube构建Cube 创建Cube 1）点击 New 按钮然后选择 New Cube 2）选择 Model 及填写 Cube Name 3）添加真正的维度字段 (将来会影响 Cuboid 的个数,并且只能从 model 维度字段里面选择) 4）添加真正度量值字段(将来预计算的字段值,只能从 model 度量值里面选择) 5）动态更新相关（默认） 6）高阶设置（默认） 7）需要修改的配置(默认) 8）Cube 信息展示 9）Cube 配置完成，查看 Cube 信息 构建
kylin从Oracle构建cube,【Kylin教程】（三）Cube的创建和构建
weixin_33291624的博客
04-10 453
数据源的准备可以使用Apache Kylin自带的Sample Data。运行“${KYLIN_HOME}/bin/sample.sh”来导入Sample Data。可将Sample Data导入Hive数据库。hive> show tables;OKemp_importTime taken: 3.963 seconds, Fetched: 1 row(s)hive> show tab...
Kylin系列6-Cube构建原理
只是甲的博客
01-22 810
文章目录一. 维度和度量二. Cube和Cuboid三. Cube存储原理四. Cube的构建算法4.1 逐层构建算法（layer）4.2 快速构建算法（inmem） 一. 维度和度量 维度：即观察数据的角度。比如员工数据，可以从性别角度来分析，也可以更加细化， 从入职时间或者地区的维度来观察。维度是一组离散的值，比如说性别中的男和女，或者时间维度上的每一个独立的日期。因此在统计时可以将维度值相同的记录聚合在一起，然后应 用聚合函数做累加、平均、最大和最小值等聚合计算。 度量：即被聚合（观察）的统计值，也就
kylin cube 创建
qq_28429443的博客
06-27 264
1.1.1 新建一个项目 1.1.1.1 由顶部菜单栏进入Query页面，然后点击左上角的加号按钮新建一个project。 1.1.1.2 选择自己要定义的项目名 1.1.1.3 创建成功后会出现成功的弹窗 通过以上的步骤一个新的project创建成功。 1.1.2 同步一张表 1.1.2.1 选择自己新建的项目名 1.1.2.2 导入需要的数据库表 在这里运用到的是hive作为数据源...
Kylin系列（五）构建 Cube：从数据到多维立方体
最新发布
07-10 1483
Kylin是一个分布式分析型数据仓库，旨在通过构建多维立方体（Cube）来实现大数据的高效查询。本文将详细介绍Kylin中构建Cube的全过程，包括数据预处理、模型设计、Cube构建以及优化等关键步骤。通过这篇文章，读者将深入了解如何从原始数据出发，构建一个高效的多维数据立方体，从而支持复杂的分析查询需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据开发工程师-宋权

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值