Ubuntu下用pyspark执行文件

### 如何在 Ubuntu 系统中安装和配置 PySpark #### 1. 更新系统包管理器 为了确保系统的依赖项是最新的，在开始之前先更新 `apt` 软件源列表以及升级现有软件包。 ```bash sudo apt-get update && sudo apt-get upgrade -y ``` #### 2. 安装必要的工具和库 在安装 PySpark 前，需要准备一些基础开发环境。以下是必需的工具及其用途： - **vim**: 编辑文件所需的文本编辑器。 - **openjdk**: Java 是 Spark 的运行时依赖之一。 执行以下命令来完成这些工具的安装： ```bash sudo apt-get install -y vim openjdk-17-jdk ``` 此操作会自动设置 JDK 到 `/usr/lib/jvm/java-17-openjdk-amd64/` 并将其加入到 PATH 中[^3]。 #### 3. 下载并解压 Apache Spark 访问 [Apache Spark 官方下载页面](https://spark.apache.org/downloads.html)，选择适合的操作系统版本（推荐预编译二进制版）。假设选择了 Spark 3.2.0，则可以通过以下方式获取它： ```bash wget https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz tar xzf spark-3.2.0-bin-hadoop3.2.tgz -C /opt/ ln -s /opt/spark-3.2.0-bin-hadoop3.2 /opt/spark ``` 上述脚本将压缩包放置于 `/opt/` 文件夹下，并创建了一个软链接以便后续维护更方便[^2]。 #### 4. 配置环境变量 为了让操作系统识别 Spark 和 Python，默认路径需被添加至 `.bashrc` 或者全局 profile 文件里。打开终端输入如下指令实现这一目标: ```bash echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc echo 'export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin' >> ~/.bashrc source ~/.bashrc ``` 如果希望所有用户都能使用该服务而不是仅限当前登录账户的话，请把上面两行追加到 `/etc/profile.d/spark.sh` 当中去替代个人用户的 .bashrc 设置方法。 #### 5. 修改 Spark 默认参数 (可选) 进入 `$SPARK_HOME/conf/` 目录找到名为 `spark-env.sh.template` 的模板副本重命名为无扩展名形式即实际生效的名字——`spark-env.sh` 。接着利用你喜欢的文字处理器对其进行调整比如指定 JAVA_HOME 及其他高级选项等。 ```bash cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh nano $SPARK_HOME/conf/spark-env.sh ``` 在此处可以定义额外的关键字例如 PYSPARK_PYTHON 来覆盖默认解释程序位置从而支持特定虚拟环境中运行 Pyspark 实例: ```bash export PYSPARK_PYTHON=python3 ``` #### 6. 测试本地模式下的简单作业 现在应该已经准备好测试新搭建好的框架是否正常工作啦! 执行下面这条简单的命令看看效果吧~ ```bash pyspark --master local[*] sc.parallelize([1, 2, 3]).map(lambda x: x * 2).collect() ``` 当看到返回 `[2, 4, 6]` 结果的时候就说明一切顺利完成了! #### 7. Jupyter Notebook 整合 对于数据分析人员来说，能够直接通过交互式的界面来进行探索性分析是非常重要的功能特性之一。幸运的是我们可以轻松做到这一点！ 首先确认 pip 已经可用之后再继续下一步骤；如果没有则需要先行解决这个问题才行哦~ 然后按照官方指导手册中的描述逐步实施即可[^1]: ```bash pip install jupyter notebook pyspark findspark findspark.init() # 在notebook开头调用初始化函数 ``` 最后启动 web server 后就可以愉快玩耍咯~ ```bash jupyter-notebook ``` --- ###

### 在 Ubuntu 上使用 PySpark 进行字频统计 要在 Ubuntu 系统上使用 PySpark 实现字频统计功能，可以按照以下方法构建代码并运行。以下是完整的实现过程以及相关说明。 #### 1. 初始化 SparkSession 和 SparkContext 为了执行分布式计算任务，在 PySpark 中通常会初始化 `SparkSession` 或者 `SparkContext` 对象。这里我们将使用 `SparkSession` 来简化操作流程[^4]。 ```python from pyspark.sql import SparkSession # 创建 SparkSession 并设置应用程序名称 spark = SparkSession.builder \ .appName("WordCount") \ .getOrCreate() sc = spark.sparkContext ``` #### 2. 加载数据源 假设有一个文本文件存储在本地路径 `/path/to/textfile.txt`，可以通过 `textFile()` 方法加载该文件的内容到 RDD (Resilient Distributed Dataset)[^4]。 ```python # 将输入文本文件转换为 RDD 数据结构 input_file_path = "/path/to/textfile.txt" lines_rdd = sc.textFile(input_file_path) ``` #### 3. 文本处理与映射 对于每一行的数据，将其分割成多个单词，并将这些单词作为键值对的形式返回给后续阶段进行聚合运算。 ```python # 使用 flatMap 函数把每行字符串切分成单独词语列表；再利用 mapToPair 转化成(key, value)形式 words_rdd = lines_rdd.flatMap(lambda line: line.split())\ .map(lambda word: (word.lower(), 1)) ``` #### 4. 统计词频 调用 reduceByKey() 方法完成相同 key 的累加求和操作，从而得出最终的结果集。 ```python # 计算每个唯一关键词对应的总出现次数 counts_rdd = words_rdd.reduceByKey(lambda a, b: a + b) # 收集结果至驱动器端内存中以便查看输出效果 result_list = counts_rdd.collect() for (word, count) in result_list: print(f"{word}: {count}") ``` #### 5. 停止 SparkSession 最后记得关闭当前 session 所占用资源以释放环境中的连接池和其他临时组件。 ```python spark.stop() ``` 以上即是在 Ubuntu 下基于 Python 编程语言结合 Apache Spark 工具链所开发的一个简单版本的 Word Count 应用实例。