Hive的内置HASH()函数使用哪种哈希算法

最新推荐文章于 2025-03-21 10:06:46 发布

AI天才研究院

最新推荐文章于 2025-03-21 10:06:46 发布

阅读量1.8w

点赞数

CC 4.0 BY-SA版权

分类专栏： AI人工智能与大数据文章标签：算法 hive 人工智能 python hash

本文链接：https://blog.csdn.net/universsky2015/article/details/120284161

AI人工智能与大数据专栏收录该内容

39651 篇文章 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

Hive的内置HASH()函数使用类似java.util.List#hashCode的算法，该算法基于31的乘法性质。如果需要使用SHA系列哈希，可以结合Apache DigestUtils类和Hive内置函数实现。参考链接提供了更多关于Hive内置函数和UDF的详细信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

内置的HASH()函数使用哪种哈希算法？

我理想地是在寻找SHA512/SHA256哈希，类似于SHA()函数在Pig的linkedin datafu UDF中提供的功能。

最佳答案

HASH函数(从Hive 0.11开始)使用类似于java.util.List#hashCode的算法。

其代码如下所示:

int hashCode = 0; // Hive HASH uses 0 as the seed, List#hashCode uses 1. I don't know why.
for (Object item: items) {
   hashCode = hashCode * 31 + (item == null ? 0 : item.hashCode());
}

基本上，这是有效Java一书中推荐的经典哈希算法。
引用一个伟人(和一个伟大的

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AI天才研究院

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Hive中的HASH函数规则及示例

qq_40953864的博客

05-02

2954

Hive中的哈希函数采用的是MurmurHash算法，这是一种非常高效的哈希算法。该算法将输入数据分为若干个块，每个块都进行哈希计算，最终将所有块的哈希值合并起来得到最终的哈希值。在执行上述查询语句时，Hive会自动调用HASH函数对每个姓名进行哈希计算，并将具有相同哈希值的姓名放入同一个分组中，最终对每个分组进行统计计算。由于哈希函数的特性，相同的输入数据每次计算得到的哈希值都是相同的，因此HASH函数可以用于对数据进行快速的去重或分组。下面举一个简单的例子来说明HASH函数的使用。

HIVE内置函数hash() -- 源码解析

weixin_46429290的博客

07-04

2328

首先HIVE提供的hash()内置函数的源码是怎么要求的？hash内置函数在类中表明：在初始化参数的时候，并没有做任何的校验，直接返回了一个Int类型，所以在编译阶段是可以随意通过的，无论传入什么参数可以看到在处理阶段是可以传入多个参数的，也就是说hash()这个函数可以传入多个参数，其实最主要的处理方法是调用了ObjectInspectorUtils.getBucketHashCode(fieldValues, argumentOIs); getBucketHashCode方法点进去看一下这个方法是

参与评论您还未登录，请先登录后发表或查看评论

Hive中hash函数及md5函数

weixin_43597208的博客

06-05

8242

该算法将输入数据分为若干个块，每个块都进行哈希计算，最终将所有块的哈希值合并起来得到最终的哈希值。参数2： 224, 256, 384, 512, 或 0（=256）中的一个，表示SHA-224, SHA-256, SHA-384, SHA-512。由于哈希函数的特性，相同的输入数据每次计算得到的哈希值都是相同的，因此HASH函数可以用于对数据进行快速的去重或分组。4、强抗碰撞：已知原数据和其MD5值，想找到一个具有相同MD5值的数据（即伪造数据）是非常困难的。2、容易计算：从原数据计算出MD5值很容易。

hive官网函数-中文说明文档

最新发布

weixin_40121264的博客

03-21

1196

SHA-2（Secure Hash Algorithm 2）是一系列加密哈希函数，它包括多个不同的变体，如 SHA-224、SHA-256、SHA-384 和 SHA-512，它们分别产生不同长度的哈希值。"Cyclic"（循环）指的是在进行CRC计算时，数据被视为一个大的多项式，而生成多项式（polynomial）是这个多项式的一个因子。-- 需要使用 year(), month(), day(), hour(), minute(), second() 获取。（用于替换匹配到的字符串）。

Hive 函数使用——窗口函数

weixin_48626604的博客

03-29

2133

Hive 函数使用 1. 常见的三种运算符关系运算符关系运算符是二元运算符，执行的是两个操作数的比较运算。每个关系运算符都返回boolean类型结果（true or false） •等值比较: = 、== •不等值比较: <> 、!= •小于比较: < •小于等于比较: <= •大于比较: > •大于等于比较: >= •空值判断: IS NULL •非空判断: IS NOT NULL •LIKE比较: LIKE •JAVA的LIKE操作: RLIKE •RE

讲讲HashCode的作用

weixin_33795743的博客

09-27

653

前言 Object提供给我们了一个Native的方法“public native int hashCode();”，本文讲讲Hash是什么以及HashCode的作用 Hash 先用一张图看下什么是Hash Hash是散列的意思，就是把任意长度的输入，通过散列算法变换成固定长度的输出，该输出就是散列值。关于散列值，有以下几个关键结论： 1、如果散列表中存在和散列原始输入K相等的记...

深入 HashCode 方法

诗剑书生的专栏

11-26

1万+

Go deep into HashCode为什么HashCode对于对象是如此的重要?一个对象的HashCode就是一个简单的Hash算法的实现,虽然它和那些真正的复杂的Hash算法相比还不能叫真正的算法,它如何实现它,不仅仅是程序员的编程水平问题,而是关系到你的对象在存取是性能的非常重要的关系.有可能,不同的HashCode可能会使你的对象存取产生,成百上千倍的性能差别.我们先来看一下,在JAV

java操作hive_java操作hive

weixin_32211739的博客

02-20

2724

存储类:package com.rxzx.hive;public class Beacon {private String stime;private String uid;private String sid;private String pid;public String getStime() {return stime;}public void setStime(String stime) ...

hive函数

CherishL_的专栏

08-22

3400

内置函数：简单函数，聚合函数，集合函数，特殊函数自定义函数： UDF（map阶段），UDAF（reduce阶段）cli命令 show functions；desc function concat（函数名字）；函数的描述信息 hive> desc function concat; OK concat(str1, str2, ... strN) - returns the concatena

hive的hash函数保证结果为正数

weixin_41200722的博客

08-25

329

我整理的一些关于【HA】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/f2PFnNHive的Hash函数与结果正数保证在数据处理和分析的世界中，哈希函数是一个非常重要的工具。Apache Hive是一个构建在Hadoop之上的数据仓库工具，它提供了数据抽取、查询和分析的功...

Hive 常用函数

何星平的博客

06-19

226

参考地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF Hive 常用函数 parse_url(url, partToExtract[, key]) 解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERIN...

Hive函数全解——思维导图 + 七种函数类型

Byyyi耀的博客

12-19

1579

Hive函数超详细全解。

常用Hive语法及函数

yangnuanyang的博客

04-12

509

hive使用一、joinleft join=left outer join ----返回左表所有的行，没有值的列为nulljoin=inner join ----返回匹配的行full join 返回左右表所有行二、havinghaving---对由sum或其它集合函数运算结果的输出进行限制eg:select user_id, sum(amount)/100 as amount from a ...

hive简介——java连接和数据管理的方式

smallpizza的博客

09-19

1121

在hadoop中hive担任的是数据仓库的角色，主要用来存储数据，而且存储的数据是不再修改的数据。hive集成了SQL技术，提供了类SQL的查询语句，称为HQL（和类SQL语句操作一样，在此就不再详细介绍）。在类SQL的增删改查操作中，HQL提供了INSERT（增）和SELECT（查）操作。 hive提供内部表（managed table）、外部表（external table）、分区（parti

hive分区

superXZT的博客

02-28

653

hive分区方便查询分区表指的是在创建表时指定的partition的分区空间。 1.Hive 分区表在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。 2.hive分桶 1.简介桶是通过对指定列进行哈希计算来...

hive里面计算哈希值的函数

05-30

在 Hive 中，可以使用 `HASH()` 函数来计算一个字符串的哈希值。`HASH()` 函数支持多种哈希算法，包括 MD5、SHA1、SHA2、SHA224、SHA256、SHA384 和 SHA512。具体使用方法如下： ``` HASH(string binary, algo string) -> bigint ``` 其中，`string` 参数表示要计算哈希值的字符串，`binary` 参数表示是否将字符串转换为二进制格式进行计算（默认为 false），`algo` 参数表示要使用的哈希算法（默认为 MD5）。`HASH()` 函数的返回值为一个长整型数值。以下是一些使用 `HASH()` 函数计算哈希值的示例： 1. 计算一个字符串的 MD5 哈希值： ``` SELECT HASH('hello world', 'MD5'); ``` 2. 计算一个字符串的 SHA256 哈希值： ``` SELECT HASH('hello world', 'SHA256'); ``` 3. 计算一个字符串的 SHA512 哈希值（使用二进制格式进行计算）： ``` SELECT HASH(CAST('hello world' AS BINARY), 'SHA512'); ``` 需要注意的是，由于 `HASH()` 函数返回的是一个长整型数值，因此在进行比较或者存储时需要进行适当的转换和处理，以免出现数据类型不匹配或者精度丢失的问题。