大数据Spark教程从入门到精通第一篇：Spark概述

一：Spark概述

1：Spark是什么？

        Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

2：Spark和Hadoop

        这两个都是计算框架，都有自己的生态圈

        Hadoop.是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架

        作为 Hadoop分布式文件系统，HDFS 处于 Hadoop生态圈的最下层，存储着所有的数据，支持着Hadoop的所有服务。它的理论基础源于 Google 的TheGoogleFileSystem 这篇论文，它是 GFS 的开源实现。

        MapReduce ,是一种编程模型，Hadoop 根据 Google 的 MapReduce 论文将其实现，作为 Hadoop,的分布式计算模型，是 Hadoop,的核心。基于这个框架，分布式并行程序的编写变得异常简单。综合了HDFS 的分布式存储和 MapReduce的分布式计算，Hadoop在处理海量数据时，性能横向扩展变得非常容易。

        HBase是对 Google 的 Bigtable的开源实现，但又和 Bigtable 存在许多不同之处。HBase,是一个基于 HDFS 的分布式数据库，擅长实时地随机读/写超大规模数据集。它也是 Hadoop非常重要的组件

        Spark 是一种由 Scala,语言开发的快速、通用、可扩展的大数据分析引擎

        Spark Core 中提供了 Spark 最基础与最核心的功能

        Spark SQL 是 Spark 用来操作结构化数据的组件。通过 SparkSQL，用户可以使用SOL 或者 Apache Hive 版本的 SOL 方言