tez 参数调优不同参数对比

Thomas2143

于 2021-07-18 06:00:31 发布

阅读量670

点赞数

CC 4.0 BY-SA版权

分类专栏：总结

本文链接：https://blog.csdn.net/qq_35515661/article/details/118872536

总结专栏收录该内容

792 篇文章 ¥99.90 ¥299.90

订阅专栏

本文分析了在集群环境下，Tez 参数的设置对性能的影响。最简单设置下，运行时间较长；而最佳配置中，考虑了节点资源和并发，避免了因container大小设置不当导致的并发不足问题。总结指出，调整`hive.exec.reducers.bytes.per.reducer`以优化reduce任务数据量，以及根据map任务执行速度调整小文件合并，以解决数据倾斜和提高效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最简单设置

set hive.execution.engine=tez;
set hive.tez.container.size=1000;

============

set hive.execution.engine=tez;
set hive.tez.container.size=4000;
-- 1GB
set hive.exec.reducers.bytes.per.reducer=1000000000;

59s

=================

set hive.execution.engine=tez;

-- 容器内存MB
set hive.tez.container.size=

了解本专栏

tez 参数调优 不同参数对比

最简单设置

tez 参数调优不同参数对比