spark完全分布式部署

一、 任务描述

本实验任务主要完成基于ubuntu环境的Spark完全分布式部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark完全分布式部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。

二、 任务目标

掌握Spark完全分布式环境的部署

三、 任务环境

本次环境是：Ubuntu16.04

四、 任务分析

spark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。
  local(本地模式)：
常用于本地开发测试，本地还分为local单线程和local-cluster多线程;
  standalone(集群模式)：
典型的Mater/slave模式，Master可能有单点故障的；Spark支持ZooKeeper来实现 HA。
  on yarn(集群模式)：
运行在 yarn 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算。
  on mesos(集群模式)：
运行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算。
  on cloud(