6.编写Spark独立应用程序(sbt)（华为云学习笔记，Spark编程基础，大数据）

GC??

已于 2022-06-13 15:47:51 修改

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark编程基础文章标签： spark scala hadoop

于 2022-06-13 15:26:35 首次发布

本文链接：https://blog.csdn.net/GCPOP/article/details/125256594

本文详细介绍了如何使用Scala编写Spark独立应用程序，并利用sbt工具进行编译打包。首先，讲解了sbt作为Scala构建工具的作用，然后指导读者安装sbt，创建Spark应用程序目录结构，编写SimpleApp.scala代码，计算文件中特定字符出现的次数。接着，通过sbt打包应用程序为JAR包，最后演示如何使用spark-submit运行打包后的程序，过滤输出信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

编写Spark独立应用程序(sbt)
① 使用Scala语言编写Spark独立应用程序；
② 使用sbt工具对Spark应用程序进行编译打包。
实验原理
-> sbt
SBT是一个现代化的构建工具。虽然它由Scala编写并提供了很多Scala便利，但它是一个通用的构建工具。可以使用sbt工具，对采用Scala语言编写的Spark应用程序进行编译打包。

1. 安装sbt工具
下载安装包请打开浏览器访问如下链接进行下载

拷贝代码
http://file.ictedu.com/fileserver/big_data_common/data/sbt-launch.jar
下载后的安装包保存在/home/user/Downloads目录下。
在这里插入图片描述

∥ 拷贝安装文件到sbt安装目录
打开Terminal，登录hadoop用户（su - hadoop）
安装文件位于当前登录Linux系统的用户的主目录的“下载”目录下。这里把sbt安装到“/usr/local/sbt”目录下，请使用hadoop用户登录Linux系统，新建一个终端，在终端中执行如下命令：

拷贝代码
sudo mkdir /usr/local/sbt
拷贝代码
sudo chown -R hadoop /usr/local/sbt
拷贝代码
cd /usr/local/sbt
cp /home/user/Downloads/sbt-launch.jar .