Spark本地模式搭建(local模式)

1.下载安装包

官网：https://spark.apache.org/

选择Download

注意选择之前安装过hadoop

2.启动虚拟机并使用moba连接虚拟机

3.将下载好的安装包拖到moba里

下方有拖入的进度条，拖不进去就是权限不够

4.解压安装包

重命名文件

5.配置环境变量（编辑到末尾）

补充说明：使用vi编辑器进入文件后(不按i)按大写g直接到末尾(caps lock -> G) 小写gg直达顶部

6.修改配置文件

改名：

修改配置文件：

7.运行示例文件测试

出现 Pi is roughly 3.14...即为正确

8.进入pyspark交互式执行环境

退出交互模式exit()

9.通过spark-submit运行程序

编辑一个后缀为py的文件

spark-submit运行程序：

出现Lines with a:61，Lines with b:30即为正确（可能a和b的个数和这个不一样，没事）