presto内存参数配置简单计算（3节点虚拟机环境）

最新推荐文章于 2025-04-23 07:11:21 发布
最新推荐文章于 2025-04-23 07:11:21 发布
阅读量1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： 大数据 presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fly0512/article/details/108909915
本文介绍了Presto内存参数的大致配置方法，包括jvm.config中的-Xmx参数设置及config.properties中的query.max-memory-per-node等参数的计算方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

记录一下配置presto的内存参数大致计算方法：
1、jvm.config
-Xmx ：presto最大可以给到服务器总内存的50-70%，比如8GB*0.5=4G；如果需保留内存给其他服务，按需减少。
2、config.properties
query.max-memory-per-node ：xmx的30%：4 x 0.3=1.2GB
query.max-memory ：query.max-memory-per-node x worker节点数 1.2 x 3 = 3.6 GB
query.max-total-memory-per-node ： 比query.max-memory-per-node大，比query.max-memory小，暂时设置2GB

presto连接mongodb
u013008898的博客
07-16 1639
presto连接mongodb
探究Presto SQL引擎(3)-代码生成
xuhss_com的博客
06-07 374
探究Presto SQL引擎 系列：第1篇《探究Presto SQL引擎(1)-巧用Antlr》介绍了Antlr的基本用法以及如何使用Antlr4实现解析SQL查询CSV数据，在第2篇《探究Presto SQL引擎(2)-浅析Join》结合了Join的原理，以及Join的原理，在Presto中的思路。本文是系列第3篇，介绍基于 Antlr 实现where条件的解析原理，并对比了直接解析与代码生成实现两种实现思路的性能，经实验基于代码生成的实现相比直接解析有 3 倍的性能提升。业务开发过程中，使用SQL进行数
【presto】presto 参数配置优化
Mrerlou的博客
03-23 3441
前言 之前公司的 presto 服务一直不是很稳定，随着资源组，配置优化，代码二次开发。presto 服务基本上已经趋于稳定了。这个记录下 presto 服务参数配置都做过哪些优化。 这边生产环境的 JVM 都是配置为 40G。 config.properties 禁用保留池 Reserved Pool : 当有一个worker的General Pool 内存耗尽，reserved pool将会发挥作用。这个时候coordinator 将会选出集群出消耗内存最大的查询，并将该查询分配给所有worker的
presto内存配置以及调优(防止OOM等操作)
zeng6325998的博客
07-02 4688
参考文档 https://prestodb.io/blog/2019/08/19/memory-tracking 前言 良好的掌握内存配置有利于对于presto进行更好的配置和调优 Presto的内存池 在Presto引擎中，有两种类型的内存分配:user和system。User memory是和输入的数据强相关的。（例如，聚合的内存使用与其成正比）。system memory 是执行的副产品（比如表扫描和写入缓冲区），并且不一定与查询输入聚合等操作有很强的相关性。 内存的分配直接来自于presto的w.
Presto 开源项目使用教程
最新发布
gitblog_01170的博客
04-23 718
Presto 开源项目使用教程 1. 项目的目录结构及介绍 Presto 是一个开源项目，用于高性能的分布式数据处理。以下是项目的目录结构及其介绍： bin/：存放项目的可执行脚本，用于启动和停止服务。 conf/：包含项目的配置文件。 doc/：存放项目的文档资料，可能包括设计文档、用户手册等。 lib/：包含了项目依赖的第三方库。 plugin/：存放项目的插件，用于扩展功能。 script...
CentOS7环境下部署PrestoSQL-345版本三节点集群详细过程
TT-Learning
11-13 1903
文章目录1.环境设置1.1 创建用户（所有节点）1.2 关闭防火墙（所有节点）1.3 设置hosts（所有节点）2.设置用户资源（所有节点）3.安装jdk（所有节点）4.安装presto-server（所有节点）5.配置5.1 创建日志保存目录（所有节点）5.2 创建etc用于存放配置文件（所有节点）5.3 配置Node（所有节点）5.4 配置JVM（所有节点）5.5 配置Config（节点角色不同，配置不同）5.6 配置日志级别（所有节点）6.客户端下载（自定义节点）7.启动（所有节点） 1.环境设置
Presto内存管理相关参数设置
eagooqi的专栏
11-10 956
背景 之前介绍过Presto内存管理和分配策略，但是那个是0.192版本，详细见：Presto内存管理原理和调优 ，0.201之后内存管理作了新的修改，所以重新简单分析下，然后给出一个配置模板，希望对使用Presto的同学有帮助。 两种内存 Presto里面内存只有2种内存，一种是user memory，另一种是system memory。system memory用于input/output/exchange buffers等，user memory 用于hash join、agg这些。 内存池
【presto】转载：Presto内存管理相关参数设置
Mrerlou的博客
06-18 912
背景 之前介绍过Presto内存管理和分配策略，但是那个是0.192版本，详细见：Presto内存管理原理和调优 ，0.201之后内存管理作了新的修改，所以重新简单分析下，然后给出一个配置模板，希望对使用Presto的同学有帮助。 两种内存 Presto里面内存只有2种内存，一种是user memory，另一种是system memory。system memory用于input/output/exchange buffers等，user memory 用于hash join、agg这些。 内存池 0.20
Presto入门搭建
善皮之的博客
08-31 1087
Presto简介 presto是一个分布式SQL查询引擎，用于查询分布在一个或多个异构数据源上的大型数据集。 更多详细的介绍请移步去Presto官网 Presto的安装 准备 1.检查本机的jdk的版本，Presto要求jdk 1.8 151以上的版本 2.下载Presto的安装包，下载地址presto-server-0.224.tar.gz 3.有一个Presto的客户端，下载地址presto...
Presto安装与配置指南：从零开始搭建你的查询引擎
# 1. 认识Presto ## 1.1 什么是Presto Presto是一个开源的分布式SQL查询...- **高性能**：Presto利用内存计算和并行处理技术，能够快速执行复杂的查询任务，支持PB级别的数据查询。 - **灵活性**：Presto支持多种数
大数据面试题之Presto[Trino](4)
自律给我自由
07-06 1318
大数据面试题之Presto[Trino](4)
Presto-Hbase 指定worke任务节点操作
wbx19871008的博客
02-21 863
1.修改presto的Coordinator节点机器上presto根目录下的配置文件 修改node-scheduler.include-coordinator=true 2. 修改presto各节点机器上的presto/catalog下的hbase.properties 修改random-schedule-redundant-split=true 修改pr...
Presto JVM.config
anghiking20140716的博客
10-03 314
Presto 如果启动时候 指定 CMS,那么 launcher run 会提示 G1　　 回收算法是 推荐的垃圾回收算法，针对 Presto 大内存 回收，G1 暂时 应该是最稳妥的选择，调整之后大约如下。 -server-Xmx100G-Xms100G-XX:-UseBiasedLocking-XX:+UseG1GC-XX:ParallelGCThreads=16-XX:ConcG...
Presto的内存管理
风杨
06-27 567
Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。
presto内存配置
besmarterbestronger的博客
02-10 3391
目录1. presto的内存结构2. 参考文献 1. presto的内存结构 下图是presto-worker节点的内存示意图： 图片来源于互联网 可以粗略的认为presto的jvm.properties配置文件中的jvm堆内存会被分为3份： 系统内存池(SystemMemoryPool) 保留内存池(ReservedMemoryPool) 普通内存池(GeneralMemoryPool) 这三者的区别： System Pool 是用来保留给系统使用的，默认为40%的内存空间留给系统使用。 Res
jvm参数 设置建议
一个码农的博客
12-21 2040
从网上找到这篇文章,希望自己对Java的内存分配有重新的认识 /usr/local/jdk/bin/java -Dresin.home=/usr/local/resin -server  -Xms1800M  -Xmx1800M  -Xmn300M  -Xss512K  -XX:PermSize=300M  -XX:MaxPermSize=300M  -XX:SurvivorRat...
presto config.properties配置 discovery.uri
上海菁数信息技术
09-18 2417
官方推荐配置如下 coordinator=true node-scheduler.include-coordinator=true http-server.http.port=8080 query.max-memory=5GB query.max-memory-per-node=1GB query.max-total-memory-per-node=2GB discovery-server.e...
Presto基本配置
shenzhibiao的博客
03-28 3135
介绍 presto是由facebook开源，基于内存的分布式查询引擎。支持多数据源，可支持PB级海量数据查询，本身不作数据存储。 架构 与众多分布式框架类似，由某组件进行请求处理以及分发任务至各执行节点。在presto架构中，Coordinator即为这样的角色。负责解析SQL，生成执行计划，分发任务到各节点。 Worker即各实际执行查询的节点。worker收到任务后,通过各种connecto...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值