百度地图毕业设计源码的Spark性能调优笔记

知识点: 1. Spark调优思路 - Spark调优涉及多个方面，包括硬件资源的增加、计算资源的充分利用、网络传输的减少、等待时间的优化以及垃圾回收（GC）的减少等。 2. 硬件资源的增加和充分利用 - 调优时可以考虑增加硬件资源，如CPU、内存等，来提升处理能力和存储能力。 - 充分利用已有资源意味着要避免资源的空闲或浪费，通过合理配置可以提升资源使用效率。 3. spark-submit时设置 - 在使用spark-submit提交Spark作业时，需要合理配置参数，如内存分配、核心数量等，来优化执行性能。 4. 设置task数量 - 合理设置task数量对性能有直接影响。过多的task会导致资源竞争和调度开销，而过少的task则可能无法充分利用集群资源。 5. 减化计算 - 简化计算过程可以提升性能，如通过持久化RDD和使用高效的类集如fastutil来减少对象创建和垃圾回收。 6. RDD持久化 - 将经常使用的RDD持久化到内存中，可以避免重复计算，从而减少计算量和提高数据处理速度。 7. 使用fastutil类集 - fastutil是一个提供Java集合框架的高性能库，其为特定类型的集合提供了更快的实现，用于减少内存使用和提高性能。 8. 减少网络传输 - 在分布式计算中，网络传输是一个主要的瓶颈。通过广播变量和使用kryo序列化可以减少数据在网络中的传输量。 9. 广播变量 - 使用广播变量可以在所有节点间共享数据，从而避免重复的数据传输。 10. kryo序列化 - 使用kryo序列化算法替代默认的Java序列化可以显著减少网络传输量和提高序列化速度。 11. shuffle的map端调优 - 对shuffle操作进行调优，特别是在map端，可以有效减少磁盘I/O操作和网络传输。 12. 优化等待时间 - 通过调节数据调度等待时间，可以减少因等待资源或数据而浪费的时间。 13. 减少GC - 堆内存和堆外内存的调优，以及使用kryo序列化和广播变量可以减少垃圾回收的频率和时间。 14. 开发调优 - 避免创建重复的RDD，特别是在需要对同一数据执行多次操作时。多次执行算子操作而重复创建RDD会导致资源的浪费。 15. HDFS文件操作 - 需要对HDFS文件进行map和reduce操作时，应避免重复加载HDFS文件和创建RDD。正确的做法是重用已有的RDD，从而避免不必要的性能开销。 16. Spark-master - 文件列表中提到的“Spark-master”可能是指Spark集群的master节点，是集群管理的核心组件，负责资源分配、任务调度等关键功能。对master节点的配置和优化也是提升Spark集群性能的关键因素之一。 通过对以上各个知识点的深入理解和应用，可以在进行百度地图毕业设计或其他Spark项目时，有效提高数据处理效率和系统性能。