Spark submit提交求PI

最新推荐文章于 2024-11-06 10:29:18 发布
最新推荐文章于 2024-11-06 10:29:18 发布
阅读量3.6k 收藏 7
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # 2.Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jackson_mvp/article/details/104060048
本文介绍了使用Apache Spark计算圆周率（PI）的两种常见方法：通过spark-submit提交任务和使用官方自带的run-example命令。这两种方法都利用了Spark的并行计算能力，通过对大量随机点进行采样，来估算圆周率的值。文章详细展示了每种方法的具体步骤和运行结果，以及参数对计算精度的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一. spark提交任务方式：

 

1.第一种方法：spark-submit:提交任务的，使用spark Demo

求PI，蒙特卡洛求PI（圆周率）

[root@bigdata111 spark-2.1.0-bin-hadoop2.7]# ./bin/spark-submit --master spark://bigdata111:7077 --class org.apache.spark.examples.SparkPi /opt/module/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 1000

结果：

20/01/21 11:16:26 INFO TaskSetManager: Starting task 997.0 in stage 0.0 (TID 997, 192.168.1.122, executor 1, partition 997, PROCESS_LOCAL, 6029 bytes)
20/01/21 11:16:26 INFO TaskSetManager: Finished task 995.0 in stage 0.0 (TID 995) in 11 ms on 192.168.1.122 (executor 1) (996/1000)
20/01/21 11:16:26 INFO TaskSetManager: Starting task 998.0 in stage 0.0 (TID 998, 192.168.1.123, executor 0, partition 998, PROCESS_LOCAL, 6029 bytes)
20/01/21 11:16:26 INFO TaskSetManager: Starting task 999.0 in stage 0.0 (TID 999, 192.168.1.122, executor 1, partition 999, PROCESS_LOCAL, 6029 bytes)
20/01/21 11:16:26 INFO TaskSetManager: Finished task 996.0 in stage 0.0 (TID 996) in 21 ms on 192.168.1.123 (executor 0) (997/1000)
20/01/21 11:16:26 INFO TaskSetManager: Finished task 997.0 in stage 0.0 (TID 997) in 16 ms on 192.168.1.122 (executor 1) (998/1000)
20/01/21 11:16:26 INFO TaskSetManager: Finished task 999.0 in stage 0.0 (TID 999) in 14 ms on 192.168.1.122 (executor 1) (999/1000)
20/01/21 11:16:26 INFO TaskSetManager: Finished task 998.0 in stage 0.0 (TID 998) in 20 ms on 192.168.1.123 (executor 0) (1000/1000)
20/01/21 11:16:26 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 15.844 s
20/01/21 11:16:26 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 
20/01/21 11:16:26 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 16.392315 s
Pi is roughly 3.14141099141411
20/01/21 11:16:26 INFO SparkUI: Stopped Spark web UI at http://192.168.1.121:4040
20/01/21 11:16:26 INFO StandaloneSchedulerBackend: Shutting down all executors
20/01/21 11:16:26 INFO CoarseGrainedSchedulerBackend$DriverEndpoint: Asking each executor to shut down
20/01/21 11:16:26 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
20/01/21 11:16:26 INFO MemoryStore: MemoryStore cleared
20/01/21 11:16:26 INFO BlockManager: BlockManager stopped
20/01/21 11:16:26 INFO BlockManagerMaster: BlockManagerMaster stopped
20/01/21 11:16:26 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
20/01/21 11:16:26 INFO SparkContext: Successfully stopped SparkContext
20/01/21 11:16:26 INFO ShutdownHookManager: Shutdown hook called
20/01/21 11:16:26 INFO ShutdownHookManager: Deleting directory /tmp/spark-5d93ad3b-3ffd-416d-acfa-fe3a933e5b13

 

2.第二中方法：

官方自带:./bin/run-example SparkPi 10

[root@bigdata111 spark-2.1.0-bin-hadoop2.7]# ./bin/run-example SparkPi 10

结果：

20/01/21 11:19:05 INFO Executor: Running task 8.0 in stage 0.0 (TID 8)
20/01/21 11:19:05 INFO Executor: Finished task 9.0 in stage 0.0 (TID 9). 1128 bytes result sent to driver
20/01/21 11:19:06 INFO Executor: Finished task 8.0 in stage 0.0 (TID 8). 1114 bytes result sent to driver
20/01/21 11:19:06 INFO TaskSetManager: Finished task 9.0 in stage 0.0 (TID 9) in 184 ms on localhost (executor driver) (9/10)
20/01/21 11:19:06 INFO TaskSetManager: Finished task 8.0 in stage 0.0 (TID 8) in 192 ms on localhost (executor driver) (10/10)
20/01/21 11:19:06 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 1.025 s
20/01/21 11:19:06 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 
20/01/21 11:19:06 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 1.577132 s
Pi is roughly 3.1381671381671383
20/01/21 11:19:06 INFO SparkUI: Stopped Spark web UI at http://192.168.1.121:4040
20/01/21 11:19:06 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
20/01/21 11:19:06 INFO MemoryStore: MemoryStore cleared
20/01/21 11:19:06 INFO BlockManager: BlockManager stopped
20/01/21 11:19:06 INFO BlockManagerMaster: BlockManagerMaster stopped
20/01/21 11:19:06 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
20/01/21 11:19:06 INFO SparkContext: Successfully stopped SparkContext
20/01/21 11:19:06 INFO ShutdownHookManager: Shutdown hook called
20/01/21 11:19:06 INFO ShutdownHookManager: Deleting directory /tmp/spark-8b32ae91-8c93-4560-acf5-cd29991425b1

 

二.对比分析

是概率的事件，没次结果可能不一样，但都在一个范围。

参数越大，测试结果越准确。

 

 

                                                                                                                                   ————保持饥饿，保持学习

                                                                                                                                                    Jackson_MVP

 

 

 

 

使用spark-submit工具提交Spark作业
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4331
大数据实验教学系统使用spark-submit工具提交Spark作业对于数据的批处理，通常采用编写程序、打.jar包提交给集群来执行，这需要使用Spark自带的spark-submit工具。   一般的部署策略是在一个网关机器上提交应用程序，这个机器和Worker机器部署在一个网络中（例如，Standalone模式的集群中的Master节点）。在此部署策略中，client模式更为合适，client模式中的driver直接跟spark-submit进程一起启动，spark-submit进程在此扮演集群中一个c
【Spark+NLP】5、使用spark-submit跑spark样例sparkpi.scala
PrincessLin的专栏
08-02 609
[学习笔记，欢迎指正] 1、我启动了hadoop，这么小的程序不需要启动。 使用单机local模式提交任务 local模式也就是本地模式，也就是在本地机器上单机执行程序。使用这个模式的话，并不需要启动Hadoop集群，也不需要启动Spark集群，只要有一台机器上安装了JDK、Scala、Spark即可运行。 cmd命令： cd D:\hadoop-2.8.3\sb...
spark(三)------spark pi任务提交
weixin_52188717的博客
11-07 3029
1.输出1到100的数字中x,y轴的和在单位圆中的点，并统计个数 object sparkPi { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf() conf.setAppName("sparkPi") conf.setMaster("local") val context: SparkContext = new SparkContext(conf) val
使用 spark-submit 提交官方examples中的示例代码计算圆周率PI
m0_61315707的博客
05-10 901
是大数据平台课的实习练习题目之一。
提交Spark应用程序
梁辰兴的博客
04-26 1839
提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“Pi is roughly 3.1424157120785603”，说明Pi值已经被计算完毕。除了–master参数外，spark-submit还提供了一些控制资源使用和运行时环境的参数。进入Spark安装目录。
搞懂spark-submit参数及应用程序提交（详细）
热门推荐
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
Spark 程序与PySpark交互流程及Spark-Submit相关参数说明
weixin_46027122的博客
08-10 589
spark-submit 这个命令 是我们spark提供的一个专门用于提交spark程序的客户端, 可以将spark程序提交到各种资源调度平台上: 比如说 local(本地), spark集群,yarn集群, 云上调度平台(k8s …指的在将Spark任务提交到集群(YARN, Spark集群为主)的时候,提供两种提交部署方案: client模式 , cluster模式。Spark On Yarn的本质: 指的将Spark程序提交到Yarn集群中, 通过yarn进行统一的调度运行操作。
Spark 程序开发与提交：本地与集群模式全解析
天冬忘忧的博客
11-06 1683
本文将深入探讨 Spark 程序在本地开发并远程提交到集群测试的过程，以及使用 spark - submit 脚本在集群模式下提交程序的相关知识，包括参数配置、运行模式等内容。
Spark 应用程序部署工具spark-submit
SmartSi
02-16 6796
1. 简介Spark的bin目录中的spark-submit脚本用于启动集群上的应用程序。 可以通过统一的接口使用Spark所有支持的集群管理器，因此不必为每个集群管理器专门配置你的应用程序（It can use all of Spark’s supported cluster managers through a uniform interface so you don’t have to co......
【spark-submit】【spark】
wq6qeg88的博客
02-17 1070
如果您的代码依赖于其他项目，则需要将它们与应用程序一起打包，以便将代码分发到Spark集群。一旦你有了一个组装好的jar，你就可以在传递你的jar的时候调用这里所示的。它可以通过统一的接口使用所有Spark支持的集群管理器，因此您不必为每个集群管理器配置应用程序。†一个常见的部署策略是从与工作机器物理上位于同一位置的网关机器（例如独立EC2集群中的主节点）提交应用程序。或者，如果您的应用程序是从远离工作机器的机器提交的（例如，在您的笔记本电脑上本地），通常使用。有几个选项是特定于正在使用的集群管理器的。
spark-圆周率
山海
07-22 546
计算圆周率： bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://node01:7077 \ --executor-memory 1G \ --total-executor-cores 2 \ examples/jars/spark-examples_2.11-2.0.2.jar \ 10 ...
Spark设计实现π的计算
赵广陆
11-04 2139
目录1 分布式估算圆周率2 程序设计3 分布式运行3.1 采用本地模式提交sparkAPP.jar3.2 采用Yarn-client或Yarn-cluster模式提交 1 分布式估算圆周率 计算原理 假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。 可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内的点的数量为Pc，则随机点的数量趋近于无穷
Spark源码阅读系列文章1-14: Spark Submit任务提交
专注于后端开发，时常接触大数据 、人工智能等
09-30 420
翻了翻之前写的文章，发现思路有一些问题，文章前后有的串不起来，近期会对之前的文章进行顺序调整和改写。 今天，重新来开个头。 作为一名Spark使用者，我对Spark任务从开始到结束都抱着一个好奇心。 想研究一下Spark内部是怎么运行的，究竟其中有什么奥秘，借鉴了前辈们的思路，开始的自己的源码阅读。 Spark源码版本: 2.1.1 Spark源码包: Spark Core Cl...
Spark 测试程序计算圆周率
Running_Tiger的博客
03-06 3094
Spark 测试程序计算圆周率1. 普通模式提交任务该算法是利用蒙特·卡罗算法求圆周率PI，通过计算机模拟大量的随机数，最终会计算出比较精确的π。bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://node-1:7077 \ --executor-memory 1G \ --total-exe
[1015]spark-submit提交任务及参数说明
周小董
07-10 6697
文章目录例子spark-submit 详细参数说明--master--deploy-mode--class--name--jars--packages--exclude-packages--repositories--py-files--files--conf PROP=VALUE--properties-file--driver-memory--driver-java-options--driver-library-path--driver-class-path--driver-cores--e
各模式下运行spark自带实例SparkPi
lihui的服务器技术博客
09-22 1万+
此系统是ubuntu，spark版本是1.0.0（下载的不是源码，而是编译好的，在我的其他文章里有下载网盘地址），hadoop版本2.2.0，scala版本2.10.4 1.spark-sunbmit命令：spark1.0之前的版本运行自带例子使用$SPARK_HOME/bin/run-example命令，对于spark1.0以后做出了改进，使用$SPARK_HOME/bin/spark-sub...
spark系列之spark-submit提交spark程序
liu_xue_xue的专栏
08-02 2179
通过spark-submit提交第一个spark 应用到集群中运行 bin/spark-submit --master spark://node-4:7077,node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12 --executor-cores 1 examples/jars/spark-examples_2.11-2.2.0.jar 1000
Spark源码系列（五）Spark Submit任务提交
JKerving的博客
07-31 988
Spark源码系列：Spark Submit任务提交 文章目录Spark源码系列：Spark Submit任务提交客户端任务提交源码解析org.apache.spark.deploy.SparkSubmit总结 前面几篇文章讲的是DAGScheduler，分析的是spark任务提交后的Stage划分。一开始没有想到按照整体任务提交的流程去写系列源码文章，所以还是写博客经验有所欠缺呀。那么从这篇文章开始我们从Spark任务提交开始，研究Spark内部是如何运行的，Spark任务是如何从开始运行到结束的。 Sp
spark-submit提交任务参数解析
Jerry的博客
11-13 2560
导读：spark和yarn整合后，可以将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交模式。 具体： 1. yarn-client提交任务 配置：在spark目录下的spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务，具体步骤如下： export HADOOP_CONF_DIR=$HADOOP_...
spark submit 任务提交流程
最新发布
01-04
当通过 `spark-submit` 提交一个应用到集群上运行时，首先会解析命令行参数以及配置文件中的设置。这些参数指定了诸如主节点地址、使用的类路径以及其他必要的资源配置选项[^1]。 ```bash ./bin/spark-submit \ --...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SuperBigData~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值