Presto内存管理源码分析

最新推荐文章于 2025-01-08 10:23:45 发布

Lnho

最新推荐文章于 2025-01-08 10:23:45 发布

阅读量2.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： Presto 大数据学习之路文章标签：内存管理 presto 源码

本文链接：https://blog.csdn.net/Lnho2015/article/details/78628433

本文深入解析了Presto内存管理，包括内存池的初始化、定时调整策略及配置优化。初始化时内存分为预留、普通和系统三个池。定时调整策略确保最耗费内存的查询在每个节点独占预留池。配置优化部分指出原始预留池设置不合理，通过调整为2GB，能更有效地利用资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 内存池初始化

初始化代码在LocalMemoryManager中，启动时将内存分为3个内存池，分别是：

RESERVED_POOL：预留内存池，用于执行最耗费内存资源的查询。
GENERAL_POOL：普通内存池，用于执行除最耗费内存查询以外的查询。
SYSTEM_POOL：系统内存池，预留的用于Presto内部数据结构和临时的分配需求使用的内存。

long maxHeap = Runtime.getRuntime().maxMemory();
//堆内存最大值，由Xmx指定
maxMemory = new DataSize(maxHeap - systemMemoryConfig.getReservedSystemMemory().toBytes(), BYTE);
//扣除系统内存池的剩余最大内存
builder.put(RESERVED_POOL, new MemoryPool(RESERVED_POOL, config.getMaxQueryMemoryPerNode()));
//RESERVED_POOL的大小由MaxQueryMemoryPerNode指定
DataSize generalPoolSize = new DataSize(Math.max(0, maxMemory.toBytes() - config.getMaxQueryMemoryPerNode()