ODPS爆炸函数场景一

ITmk000000

于 2024-12-04 16:49:15 发布

阅读量404

点赞数 7

CC 4.0 BY-SA版权

分类专栏： ODPS 文章标签： odps 大数据数据仓库

本文链接：https://blog.csdn.net/ITmk0000/article/details/144242635

ODPS 专栏收录该内容

1 篇文章

订阅专栏

在ODPS上实现将字段内数据进行拆解。

ODPS（Open Data Processing Service），开放数据处理服务，阿里的一个数据仓库解决方案。现在已更名为 MaxCompute，大数据计算服务，一种快速、完全托管EB级数据仓库解决方案。
示例
假设有一个表bdcqz，结构如下：

id	zjh
1	李某:身份证:111111111111111111
2	王某某:身份证:111111111111111112,赵某某:身份证:111111111111111113

通过爆炸函数来实现数据的转换：

SELECT	SPLIT_PART(myzjh,':',1) as name
       ,tolower(SPLIT_PART(myzjh,':',3)) as sfzhm
FROM bdcqz
LATERAL VIEW explode(split(zjh,',')) mytable1 AS myzjh;

查询后示例：

name	sfzhm
李某	111111111111111111
王某某	111111111111111112
赵某某	111111111111111113

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ITmk000000

关注关注

7
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hive：函数：表生成函数：explode和lateral view （列转行-单行转多行）

不花的花和尚的博客

06-24

1514

例1： select explode(map(1, 'Tom', 2, 'Mary', 3, 'Mary')); 返回： key value 1 Tom 2 Mary 3 Mary 例2：行转列 select recommendid,collect_list(status) status from ods.ods_aen_erp_comments where ...

使用阿里云ODPS之点滴

百岁

10-07

1223

趁着这次做网聚宝搜索服务化这个项目，体验了一下阿里云的重量级云产品ODPS，也就是传说中的云梯2。项目几近结束，现在回过头来看当初选择使用OPDS的决定还是相当正确的，ODPS在网聚宝搜索上云这个项目中起到了非常至关重要的作用，一句话总结：ODPS是非常靠谱的。从刚开始里了解ODPS开始，到引入项目中使用，进而通过优化加速在项目中使用得游刃有余，经历了一个过程，中间也走了不少弯路。在此...

参与评论您还未登录，请先登录后发表或查看评论

ODPS-SQL多维度交叉的优化方法探究

kw-home

11-18

1698

一、背景 odps是阿里集团的大数据计算平台，odps-sql语法类似于hive。最近做了一个***的需求，需求中用到了大量的维度交叉，等到需求实现后却发现新的问题——cube的交叉维度太多了（最初有17个），而且指标的计算逻辑比较复杂，造成数据加工太慢了，举例1天的增量表大概8个小时，需求中还有自然月和30天时间粒度的，根本没法实现，因此投入大量时间做了优化，最终结果：11个维度，1天表的加工时间是30分钟，7日表1个小时，30天表3个小时。二、两种SQL方式实现聚合查询有两种方式，一种是使

hive/odps等with as 的插入语法、lateral view 侧视图与explode、json_tuple

jokertiger的博客

11-04

2521

文章目录Oracle中则可以将插入语句放在开头lateral view 几种用法lateral view 除了explode还有json_tupe等函数联用 with a as ( select * from test ), b as ( select * from test2 ) insert into/overwrite table select * from a join b on a. id =b.id Oracle中则可以将插入语句放在开头 insert into/overwrite tab

SQL数据单条转多条（Lateral View）

weixin_30362083的博客

07-26

523

Lateral View和split，explode等UDTF一起使用，它能够将一行数据拆成多行数据，并在此基础上对拆分后的数据进行聚合。单个Lateral View语句语法定义如下：lateralView: LATERAL VIEW [OUTER] udtf(expression) tableAlias AS columnAlias (',' columnAlias) * fromClaus...

【SQL】sql 多行变一行，一行变多行，行转列，列转行，lateral view explode split，collect_set/collect_list

PersephoneSu

06-22

4043

一行变多行，行转列一行原数据： orderid clientname 123 linda,lily,bob 345 apple,july,cici 一行拆成多行： -- LATERAL VIEW explode 要放置于from之后，where之前 select distinct orderid,clientname from table LATERAL VIEW explode (split(clientname,',')) t

ODPS与机器学习的结合：实现智能数据分析

# 1. 引言 ## 1.1 背景介绍在当今信息爆炸的时代，海量数据已经成为各行各业必不可少的资产。随着互联网、物联网、移动互联网的迅猛发展，数据量不断增长，其中蕴含着丰富的信息和价值。 ## 1.2 目标和意义 ...

揭开阿里巴巴复杂任务资源混合调度技术面纱

数据库技术

12-25

970

作为更进一步的云计算形态，云原生正在成为云时代的技术新标准，通过重塑整个软件生命周期，成为释放云价值的最短路径。在企业内部，将云原生基础架构作为企业内部的统一架构已成为大势所趋。与此同时，也必然带来了由各种基础平台整合带来的兼容性问题，特别是规模越大、历史沉淀越多的企业，这种“技术债务”体现得越明显。本文分享的经验来自于阿里巴巴过去数年来在混合调度方面积累的生产实践积累，具有很强的生产实用价值。内容由浅入门，逐渐深入到调度器内幕，讲述在大规模容器调度场景下，阿里巴巴针对云原生应用设计的统一基础设..

期末考试题库3

m0_74487105的博客

09-20

3353

311.小明在一家IT教育公司做运营工作，经常听到同学聊到MaxCompute核心概念，但又不知其意，下列哪些选项（ ABCDE ）能帮助小明更好的了解MaxCompute。 A:Project（项目）项目是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界 B:Partition（分区）分区Partition是指一张表下，根据分区字段（一个或多个字段的组合）对数据存储进行划分 C:View（视图）视图是在表之上建立的虚拟表，它的

深度解析开源推荐算法框架 EasyRec 的核心概念和优势

数据库技术

12-27

710

如何通过机器学习PAI实现快速构建推荐模型

MaxCompute字符串分割函数-SPLIT_PART

胜利的曙光的博客

07-01

2903

MaxCompute字符串分割函数。

ODPS SQL 生成n个月的日期

Anonymous_999的博客

03-29

580

语句返回了一个结果集，其中包括了从现在起到过去11个月（总共12个月）每个月对应的年月表示和其相对于当前月的月份差。函数将这个数组拆解成一列，每个元素成为数组中的一行，因此它将生成一个包含12行，值从0到11的临时表。函数生成一个从0到11的数字序列，即一个包含12个元素[0,1,2,...,11]的数组。：这是一个公用表表达式（CTE），它定义了一个名为。（当前日期）减去上面提到的数组中的每个元素（通过。：选择上面转换的年月字符串和原始的差异值。公用表表达式的引用，选择了。将结果日期转换成字符串。

maxcompute使用篇

热门推荐

zhangbeizhen18的博客

06-28

2万+

场景：使用MaxCompute常用函数记录：NO.251 MaxCompute是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案。小北刚使用这个产品时，那会叫做ODPS(Open Data Processing Service)。为此在标题中添加了ODPS常用函数。单行函数: 只处理单个行，并且为每行返回一个结果。聚合函数: 同时对一组数据进行操作，返回一行结果。窗口函数: 具有分组和排序的功能，返回结果不减少原表的行数。语法：<窗口函数> ove

maxCompute odps 行转列

weixin_30411819的博客

05-30

2118

select name ,REGEXP_REPLACE(str,"[\\[\"\\]]",'') from ( select trans_array(1, ",", name,list) as (name,str) from ( select '经办人' as name,'["1001","1002"]' as li...

Lateral View和Explode用法简介

gofunink的博客

04-10

8592

一、Explode用法 hive wiki对于expolde的解释如下： explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expression list...

MaxComputeSQL-列转行和行转列

qq_35267530的博客

06-28

2339

阅读原文请点击摘要： 1. 假设我们在MaxCompute中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下： user_basic_info: id name 1 a 2 b 3 c 大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及

odps if函数

05-24

ODPS（MaxCompute）中的IF函数用于根据条件返回不同的值。其语法如下： ``` IF(condition, value_if_true, value_if_false) ``` 其中，condition是一个逻辑表达式，如果为 true，则返回 value_if_true ，否则返回 value_if_false。例如，如果要根据某个字段的值是否大于100返回不同的结果，可以使用IF函数： ``` SELECT IF(score>100, 'good', 'bad') AS result FROM my_table; ``` 这将返回一个名为result的新列，其中每行的值将根据score列的值进行计算。如果score>100，则返回'good'，否则返回'bad'。