Spark 性能调优从配置以及代码层面综合调优

chixushuchu

于 2019-11-06 15:07:22 发布

阅读量656

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark2 文章标签： Spark2 性能调优 Structured API

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/chixushuchu/article/details/102935510

调优大致方向

1 Indirect Performance Enhancements 间接

1 Design Choices

1 Scala Versus Java Versus Python Versus R

2 DataFrame Versus SQL versus Datasets versus RDDS

2 Object Serialization in RDDs RDD对象的序列化

3 Cluster Configurations

1 Cluster/Application sizing and sharing 资源共享

2 Dynamic allocation 动态申请资源

4 Scheduling 调度

5 Data at Rest 静态数据

1 File-based long-term data storage 基于文件存储的长期数据

2 Splittable file types and compression 可分割文件类型和压缩

3 Table partitioning

5 The number of files

6 Data locality 数据本地化

7 Statistics collection 分析集合

6 Shuffle Configurations

7 Memory Pressure and Garbage Collection

1 何时会内存压力？

2 Measuring the impact of garbage collection

3 Garbage collection tuning

2 Direct Performance Enhancements 直接

2 Improved Filtering

3 Repartitioning and Coalescing

3 custom partitioning

4 User-Defined Functions UDFS

5 Temporary Data Storage Caching

<

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。