Hive TRANSFORM示例

最新推荐文章于 2025-05-21 17:13:42 发布

吃鱼的羊

最新推荐文章于 2025-05-21 17:13:42 发布

阅读量253

点赞数

CC 4.0 BY-SA版权

分类专栏： HIVE

原文链接：http://blog.cheyo.net/73.html

HIVE 专栏收录该内容

84 篇文章

订阅专栏

本文介绍了如何使用Hive的TRANSFORM关键字配合Python脚本来实现自定义函数，类似于UDF的功能，无需编写Java代码。通过示例展示了数据加载、转换函数的编写及应用，以及数据统计的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://blog.cheyo.net/73.html

Hive的UDF、UDAF需要通过java语言编写。Hive提供了另一种方式，达到自定义UDF和UDAF的目的，但使用方法更简单。这就是TRANSFORM。TRANSFORM语言支持通过更种语言，实现类似于UDF的功能。

Hive还提供了MAP和REDUCE这两个关键字。但MAP和REDUCE一般可理解为只是TRANSFORM的别名。并不代表一般是在map阶段或者是在reduce阶段调用。详见官网说明。

数据准备

创建表：

CREATE TABLE u_data (
  userid INT,
  movieid INT,
  rating INT,
  unixtime STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;

下载数据：

1
2

wget http://files.grouplens.org/datasets/movielens/ml-100k.zip
unzip ml-100k.zip

加载数据：

LOAD DATA LOCAL INPATH '<path>/u.data'
OVERWRITE INTO TABLE u_data;

SELECT COUNT(*) FROM u_data;

准备转换函数(Python)

import sys
import datetime

for line in sys.stdin:
  line = line.strip()
  userid, movieid, rating, unixtime = line.split('\t')
  weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()
  print '\t'.join([userid, movieid, rating, str(weekday)])

备注：
Note that columns will be transformed to string and delimited by TAB before feeding to the user script, and the standard output of the user script will be treated as TAB-separated string columns.

注意：不管Hive的表本身的分隔符是否是\t。TRANSFORM本身都要求提供返回的数据通过\t进行分隔。

创建新表：

CREATE TABLE u_data_new (
  userid INT,
  movieid INT,
  rating INT,
  weekday INT)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t';

添加转换函数所在的文件，并使用转换函数：

ADD FILE /tmp/test/weekday_mapper.py;

INSERT OVERWRITE TABLE u_data_new
SELECT
  TRANSFORM (userid, movieid, rating, unixtime)
  USING 'python weekday_mapper.py'
  AS (userid, movieid, rating, weekday)
FROM u_data;

SELECT weekday, COUNT(*)
FROM u_data_new
GROUP BY weekday;

参考文档

官方文档