Presto 源码分析

于 2025-01-08 10:23:45 发布
阅读量270 收藏
点赞数 3
CC 4.0 BY-SA版权
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhixingheyi_tian/article/details/145001058

参考链接

  • https://mp.weixin.qq.com/s/pjgw7Orb2bNtEFyh1CeRig
物理计划

在 Presto 里面逻辑计划树和物理计划树都是使用 PlanNode 表示，从逻辑计划树到物理计划树的转换是通过 Presto 里面名为 AddExchanges 类去处理的。从实现上来看，AddExchanges 和其他优化规则一样，也是实现了 PlanOptimizer 接口，所有修改计划树的逻辑都在 Rewriter 里面。

逻辑计划：
在这里插入图片描述
物理计划：

在这里插入图片描述

Presto原理与代码实例讲解
AI天才研究院
06-29 870
Presto原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM Presto原理与代码实例讲解 1.
Presto内存管理源码分析
Lnho的专栏
11-24 2991
1. 内存池初始化初始化代码在LocalMemoryManager中，启动时将内存分为3个内存池，分别是： RESERVED_POOL：预留内存池，用于执行最耗费内存资源的查询。 GENERAL_POOL：普通内存池，用于执行除最耗费内存查询以外的查询。 SYSTEM_POOL：系统内存池，预留的用于Presto内部数据结构和临时的分配需求使用的内存。 long maxHeap = Runtime.
java词法分析_Presto SQL Parser源码分析
weixin_39637203的博客
11-23 842
Presto是一个高性能的分布式SQL查询引擎，应用于PB级数据的实时计算分析场景。Presto支持ANSI SQL， 用户可以直接使用SQL进行数据查询和计算。生成查询执行计算的主要流程如下图：从提交查询到执行计划生成包含了词法分析、语法分析、语义分析、逻辑执行计划生成、执行计划优化、分布式执行计划分生成等部分，Sql Parser主要提供了词法分析和语法分析功能，下面我们一起来探究一下Pres...
Presto源码解析(LocalExecutationPlanner类)
sinat_27545249的博客
09-17 859
在visitScanFilterAndProject方法中，会使用代码生成产生cursorProcessor和pageProcessor，无法跟踪代码，所以把代码生成相关的代码注释掉，即可使用解释型产生hash的产生方法
Presto源码解析--提交查询
csding11的博客
04-16 1396
本文的Presto是基于330版本 提交查询的步骤 presto的连接方式可以有两种，分别是CLI形式的和JDBC形式的，分别对应源码中的presto-cli模块和presto-jdbc模块，后续真正提交到presto coordinator对应到presto-client模块。本文以CLI来讲解Presto如何提交查询。 Presto客户端对查询语句的提交主要分为以下3个步骤： 从制定的文件、命令行参数或者Cli窗口中获取需要执行的Sql语句。 将得到的Sql语句组装成一个RESTful请求，发送给Co
Presto提交查询源码解析
qq_27639777的博客
06-26 1103
文章目录概述CLI获取查询SQL组装并向Coordinator发送查询请求循环获取查询结果 概述 用户可以通过JDBC或者CLI提交查询语句，本文以CLI客户端为例来讲解Presto如何提交查询。Presto客户端对查询语句的提交主要分为三个步骤。 从指定的文件、命令行参数或者CLI窗口中获取需要执行的SQL语句。 将得到的SQL语句组装成一个RESTful请求，发送给Coordinator，并处理返回的response。 Cli会不停地循环分批读取查询结果（并在屏幕进行动态显示），直到查询结果完全显示完
Presto源码分析(ScanFilterAndProjectOperator)
sinat_27545249的博客
09-17 2002
构造函数 createSourceIfNecessary方法 getOutput方法 RecordPageSource的处理过滤和投影 其他pagesource的处理具体参见orc和parquet的分析1.构造函数protected ScanFilterAndProjectOperator( OperatorContext operatorContext,
Presto源码分析-Client提交流程
JiajunBernoulli的博客
12-05 698
Presto有两大分支一个prestodb，另一个是prestosql。二者的区别找到了一篇文章，可以了解一下。
Presto源码分析(hive-rcfile)
sinat_27545249的博客
10-21 1152
hive数据源构造 数据迭代读取 project操作1 hive数据源构造先来看hive record cursor的构造栈 从图中可以看到，读取hive的数据时，会构造一个ColumnBinaryHiveRecordCursor，这个应该是rcfile这类列式存储专有的读取格式，如果是sequencefile或者textfile，不是这个。具体是哪个呢，可以看看这个cursor的基类是Hiv
Presto技术源码解析总结-一个SQL的奇幻之旅
LW_Moving_Bricks的博客
04-03 4898
Presto技术总结 1.环境准备 Hadoop环境，Hive环境，mysql环境，ssh环境，presto本机debug环境 推荐hadoop2.2.0、hive1.2.1、mysql5.7、openssh-server&client、presto最新版本 presto本地debug环境搭建参考presto in idea 2.查询入口&流程 所有的查询首先打到Statement...
Opera presto 内核源码
04-04
opera presto浏览器源码，仅供学习研究，编译命令如下 # Presto Web rendering engine: Opera 12.15 ./flower -v -j 1 --without-kde4 --without-gtk3 --without-plugins --without-dual-plugin-wrapper --no-debug-symbols --optimize --without-autoupdatechecker --no-package-devel --release --package=tar
Presto架构及原理
01-27
Presto是Facebook推出的一个基于Java开发的大数据分布式 SQL查询引擎，可对从数G到数P的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是 Hive的10倍以上。Presto可以查询包括Hive、Cassandra甚至是一些商业的数据存储产品，单个 Presto查询可合并来自多个数据源的数据进行统一分析。Presto的目标是在可期望的响应时间
Presto 从提交SQL到获取结果 源码详解(2)
最新发布
Yuhang.Pei 's blog
05-29 811
需要实现optimize()方法。且需要自定义和实现整个Visitor的角色，即重载vistor*()的相关方法，例如visitAggregation，visitTopN，visitOutput等（PlanVisitor中定义了各种visit*()方法）大致流程：.optimize.visitPlan.rewrite.replace是否继续替换条件判断否：生成PlanNode返回当 PlanNode 接受 Rewriter时，会进行。
presto kafka_第1章06节 | 如何快速掌握Presto源码：思路和经验
weixin_39814925的博客
11-21 288
1. 两个Presto?如果你在互联网上搜索Presto，你会发现两个Presto项目：PrestoDB：https://prestodb.io/，源代码：https://github.com/prestodb/prestoPrestoSQL：https://prestosql.io/，源代码：https://github.com/prestosql/presto这两个Presto的关系是，Pre...
Presto源码解析(V) – SPI模块
AI天才研究院
09-06 1331
作者：禅与计算机程序设计艺术 1.简介 SPI (Service Provider Interface), 是JDK定义的一套标准的接口，它主要用于扩展功能，让开发者可以方便地替换或者增强系统的某些功能。Presto是一种开源的分布式SQL查询引擎，提供了基于SPI机制实现的插件化架构。本文将详细介绍P
presto插件机制揭秘：探索无限可能的数据处理舞台
Pushkin.的博客
11-03 1905
摘要: “开启数据处理新纪元：探索Presto插件的无限可能” 本文将带领读者一同探索Presto插件机制的魅力。插件机制是Presto实现自定义拓展和功能扩展的关键。我们将详细介绍Presto插件的定义、安装和使用，并深入了解插件机制的内部工作原理。了解插件机制如何提供灵活性和可定制性，并演示如何编写和注册自定义的插件。通过使用插件，你将能够强化Presto的数据处理能力，让你的工作事半功倍。让我们一同开启数据处理的新纪元，探索Presto插件的无限可能！
（四）PrestoDB源码解析(二)
Sunhighlight的博客
07-01 1163
（四）PrestoDB源码解析(二) 执行计划模块 概要 PrestoDB对传入的SQL语句进行解析后将生成执行计划，本模块将解析PrestoDB如何生成执行计划。 (a). 用户输入SQL语句，通过JDBC或者presto-cli客户端将SQL通过HTTP的形式传入Coordinator中的StatementResource接口的createQuery方法中，进入执行计划生成模块； (b).通...
Presto详解
weixin_59295776的博客
03-07 2113
Presto是由Facebook2012年开发，基于内存、支持并行计算的分布式SQL交互式查询引擎，不是数据库，支持多种数据源，针对GB~PB数据查询可以达到秒级返回结果，主要用于秒级查询OLAP数据分析场景。目前该项目在Facebook中运行超过30000个查询，每日处理数据PB以上。Presto的查询速度是Hive的10倍以上。一、Presto 自定义函数我们可以登录Presto客户端，使用命令：show functions 来查询对应的内置函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhixingheyi_tian

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值