Spark 常用面试题
1、spark 的有几种部署模式，每种模式特点？
1）本地模式 Spark 本质是一套 SDK，可以不依赖任何集群服务，因此可以在本
地，起多个线程的方式来运行。将 Spark 应用以多线程的方式直接运行在本地，一般
都是为了方便调试，本地模式分三类 local：只启动一个 executor local[k]:启
动 k 个 executor local[ * ]:启动跟 cpu 数目相同的 executor。
2）standalone 模式 分布式部署集群（master-worker 服务运行模式），自带
完整的服务，资源管理和任务监控是 Spark 自己监控，这个模式也是其他模式的基础。
3）Spark on yarn 模式 分布式部署集群，资源和任务监控交给 yarn 管理，但是
目前仅支持粗粒度资源分配方式，包含 cluster 和 client 运行模式，cluster 适合生
产，driver 运行在集群子节点，具有容错功能，client 模式其 dirver 运行在统一的客
户端提交节点。
4）Spark On Mesos 模式。 官方推荐这种模式（当然，原因之一是血缘关系）。
正是由于 Spark 开发之初就考虑到支持 Mesos，因此，目前而言，Spark 运行在
Mesos 上会比运行在 YARN 上更加灵活，更加自然。
用户可 选 择两种 调 度模式 之 一运行 自 己的应 用程序： （1）粗粒 度 模式（ Coarse-
grained Mode）：每个应用程序的运行环境由一个 Dirver 和若干个 Executor 组成，
其中，每个 Executor 占用若干资源，内部可运行多个 Task（对应多少个 vcore）。
应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过
程中要一直占用这些资源，即使不用，最后程序运行结束后，回收这些资源。（2）
细粒度模式（Fine-grained Mode）：鉴于粗粒度模式会造成大量资源浪费，Spark
On Mesos 还提供了另外一种调度模式：细粒度模式，这种模式类似于现在的云计算，
