Hive——架构中一些名词的解释

最新推荐文章于 2023-10-16 01:22:50 发布
最新推荐文章于 2023-10-16 01:22:50 发布
阅读量2k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop 文章标签： hive 架构 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Nicky_1218/article/details/122217669
本文深入解析Hive的Metastore如何存储表、列和partition的元数据，以及HiveQL的编译、优化和执行过程。Hive的Optimizer分为逻辑和物理两部分，ExecutionEngine按任务依赖执行Map/Reduce，ThriftServer提供JDBC/ODBC接口，方便用户访问。客户端包括CLI和JDBC/ODBC接口，为用户提供了灵活的交互方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

整理知识。

Metastore

存储表，列，partition等元数据，为关系型数据库。

Compiler

编译HiveQL并将其转化为一系列的相互依赖的Map/Reduce任务。

Optimizer

优化器，分为逻辑优化器跟物理优化器。

分别对HiveQL生产的执行计划跟MapReduce任务进行优化。

Execution Engine

按照任务的依赖关系分别执行Map/Reduce任务。

Thrift Server

提供thrift接口，作为JDBC , ODBC 接口，为用户访问提供接口。

Clients

包含命令行接口（CLI）和 JDBC/ODBC接口， 为用户访问提供接口。

 

数据中台架构原理与开发实战：从自然语言处理到知识图谱
AI天才研究院
11-05 920
数据中台（Data Mart）是当前主流的数据仓库模式的一种变种，它将多个业务数据库的数据汇总到一起，通过统一的查询接口提供给各个业务线进行数据分析、决策支持等应用，并提高数据质量、效率、价值转化及用户体验。数据中台通常包括数据集成、数据采集、数据清洗、数据标签化、数据建模、数据计算、数据服务等环节。近年来，随着互联网数据日益增长，各类新型应用诞生，人工智能、机器学习、强大的计算能力以及越来越多的原始数据的产生，使得数据的价值不断被发现、挖掘和整合。
【2025软考高级架构师】案例题重点知识——第三部分
最新发布
qq837993702的博客
01-04 626
读写分离：读写分离是将数据库的读操作在从库中执行，将数据库的写操作在主库中执行，多个从库是从主库中以毫秒级的速度同步数据，在压力情况下，可以部署多个从库来提高数据库的读的速度，可以通过将读和写分离来提高数据库的整体性能。主要任务是回答系统“做什么”问题，指出现行系统的局限性和不足之处，确定新系统的基本目标和逻辑功能要求，提出新系统的逻辑模型。去中心化:由于使用分布式核算和存储，不存在中心化的硬件或管理机构，任意节点的权利和义务都是均等的，系统中的数据块由整个系统中具有维护功能的节点来共同维护。
Hive全解
sunnygod的博客
01-19 923
一.Hive基本介绍 1.基本名词解释 数据库： 为捕获数据设计 数据仓库： 为分析数据设计 ，弱事务，数据存储的都是从历史角度提供信息，一般就只有只读操作（分析） ETL：(数据清洗)数据的提取,转化，加载 OLTP:联机事务处理系统 如Mysql OLAP:联机分析处理系统 如Hive，Hbase 2.hive概述 基于Hadoop的一个数据仓库工具 hiveql转化为M/R任务执行 十...
Hive介绍
抓住人生的每一分每一秒，胜过虚度中的每一年每一月！！！
11-19 3828
Hive基本概念 Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive  直接使用hadoop所面临的问题 人员学习成本...
Hive到底是什么？
maoxiao_jsd的专栏
01-09 1108
Hive到底是什么 Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。那么，到底什么是Hive，Hive官网Wiki中的定义如下： Apache Hive数据仓库软件提供对存储在分布式中的大型数据集的查询和管理，它本身是建立在Apache Hadoop只上，主要提供以下功能： 它提供了一系列的工具，可用来对数据进行提取/
hive-UDAF名词解释
u013494310的专栏
07-15 726
a
什么是Hive
qq_38603049的博客
09-10 2139
1. hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转换加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive定义了简单的类似于SQL的查询语言称为QL，它允许熟悉SQL的用户查询数据。同时这种语言也允许熟悉MapReduce的开发者进行开发自定义的mapper和reducer来处理内建的mapper和reduce...
大数据名词解释
DZFinder的博客
05-11 4445
大数据名词解释大数据知识体系架构第一阶段：Hadoop一、ELK技术栈:二、HDFS:Hadoop分布式文件系统三、MapReduce:四、Apache Hive:五、Apache HBase:六、Apache Sqoop:七、Zeppelin可视化:第二阶段：Spark一、Scala编程二、Spark 生态框架三、Flume四、Apache Kafka第三阶段：离线数据平台一、Hive ETL处理二、Oozie工作流：三、Tableau可视化四、Cassandra/Redis/MongoDB第四阶段：实时
大数据和智能数据应用架构系列教程之：大数据与人工智能
AI天才研究院
10-16 608
大数据”是指海量、高维、多样化的数据集合。随着人类对数据处理和管理的需求越来越复杂，越来越依赖机器学习、人工智能等新兴技术。在过去的一段时间里，越来越多的人开始关注到“大数据”这一颗龙头。如今，“大数据”已经成为一个新的名词，它既包含了大量的数据，也带来了巨大的价值。因此，研究、开发、应用“大数据”技术也逐渐成为各行各业的专业人才需求。在这个快速发展的时代背景下，如何快速构建和部署“大数据”架构成为一种重要且紧迫的事情。对于“大数据”和人工智能的结合来说，实现智能数据应用架构需要面临很多挑战。
【迭代式开发】v1架构设计文档——大数据开发实战项目（三）
子浩的博客
06-05 6695
文章目录前言一、背景二、名词解释三、设计目标3.1 实现功能3.2 性能指标Ⅰ.数据精确度Ⅱ.时间特性Ⅲ.适应性四、系统环境4.1 相关软件和硬件4.2 数据规模预估五、系统设计5.1 基础介绍5.2 系统架构图5.3 系统流程图六、风险评估6.1 已知的或可预知的风险6.2 与其他系统可能的影响七、附件及参考资料 前言 如果你从本文中学习到丝毫知识，那么请您点点关注、点赞、评论和收藏 大家好，我是爱做梦的鱼，我是东北大学大数据实验班大三的小菜鸡，非常渴望优秀，羡慕优秀的人。从5月25号我们开始了为期两个
Hive基本概念
zhaoxiaoba123的博客
09-01 205
1、什么是Hive Hive: 是由Facebook开源用于解决海量结构化日志的数据统计。 Hive 是一个基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类似SQL查询功能 其本质是：将HQL转化成MapReduce程序 2、Hive 处理的数据存储在HDFS 3、Hive 分析数据底层的默认实现是MapReduce 4、执行程序运行在Yarn上 5、Hive 优点：采用SQL语法，提供快速开发能力、简单、容易上手、避免去写MapReduce、因为延迟较高.
Hive详细基本概念
@小刘同学nice
05-09 459
什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 Hive的优点 操作接口采用类SQL语...
大数据术语之Hive
qq_30003943的博客
01-11 583
HQL是如何翻译成MapReduce的 HQL解析(生成AST语法树) => 语法分析(得到QueryBlock) => 生成逻辑执行计划(Operator) => 逻辑优化(Logical Optimizer Operator) => 生成物理执行计划(Task Plan) => 物理优化(Task Tree) => 构建执行计划(QueryPlan) => 表以及操作鉴权 => 执行引擎执行 根据事实表和维度表的关系，可将常见的模型分为星型模型和...
hive——基础知识
小咸鱼gogogo~~
11-13 340
1.专有名词 MapReduce： MapReduce是一种计算模型，改模型可将大型数据处理任务分解成很多个单个的、可以在服务器集群中并行执行的任务。这些任务的计算结果可以合并在一起来计算最终的结果。 1）MapReduce是面向大数据并行处理的计算模型、框架和平台。 2）MapReduce是一个并行计算与运行软件框架（Software Framework） 3）MapReduce是一个并行程序设...
大数据基础之HIVE（一）——基础知识，初学必看
Clozzz的博客
06-10 490
什么是HIVE？ 1、基于Hadoop的数据仓库解决方案 将结构化的数据文件映射为数据库表 提供类sql的查询语言HQL（Hive Query Language） Hive让更多的人使用Hadoop 2、Hive成为Apache顶级项目 HIve始于2007年的Facebook 官网：hive.apache.org HIVE的优势和特点 1、提供了一个简单的优化模型 2、HQL类SQL语法，简化MR开发 3、支持在不同的计算框架上运行 4、支持在HDFS和HBase上临时查询数据 5、支持用户自定义函数、格
Hive优化及解析
qq597213343的博客
04-23 1818
1.explain 一般用于查看表的具体stage流程，根据流程判断自我推测 2.explain dependency 快速排查分区 具体场景 快速排出因为读取不到相应分区的数据而导致任务数据输出异常 理清表的输入，帮助理解程序的运行，特别是有助于了理解子查询，多表连接的依赖输入（on,where） 不同写法，最后的实现也不会一样 3.explain authorization 了解数据源、数据输出以及访问用户和操作 4...
hbase架构设计
findzk的博客
08-10 2511
目录 1、架构设计 2、核心概念释义 3、hbase写流程 4、hbase读流程 1、架构设计 架构设计图 2、核心概念释义 1) Client 发起读写请求的角色，面向hbase client编程。 首先hbase...
云计算基础
qq_40893595的博客
10-12 5809
待到秋来九月八，我花开后百花杀数据中心发展阶段企业自建EDCIDC托管/租用云计算三者对比云计算核心特征云计算参考模型 数据中心发展阶段 企业自建EDC 数据中心可以分层，一共分为五层： L0：楼宇系统层 机房、传输、安保、防火等 L1：机房设施层 电源、制冷、机柜、布线等 L2：IT基础设施层 服务器、网络、存储、安全等 L3：数据分析层 数据库、数据仓库、BI系统等 L4：业务应用层 各种应用系统（ERP、CRM、OA系统等） 如果要自建一台EDC，从机房建设，设备采购到最后运维保护来说都是非常复杂
hive——hive/spark sql解析json对象、json数组
06-06
在Hive中，可以使用get_json_object函数来解析JSON对象和JSON数组。例如，假设有一个名为json_data的表，其中包含一个名为json_column的JSON列，可以使用以下语句来获取JSON对象中的特定字段： ``` SELECT get_json...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值