idea打包jar到spark集群运行

1. 在项目pom文件中做打包相关的配置 首先在pom文件中添加如下配置（根据自己的项目设置scala版本和入口类完整路径），然后右键选择Maven -> Reload project

在弹出的对话框中，选择 `Scala` -> `SBT`（如果你使用 SBT）或 `Scala` -> `Maven`（如果你使用 Maven）。进入 `File` -> `Settings`（Windows）或 `IntelliJ IDEA` -> `Preferences`（Mac）。配置 `Master URL`（例如 `yarn` 或 `spark://master:7077`）。打开 IntelliJ IDEA，选择 `File` -> `New` -> `Project`。

由于这是我自己随手记录的，所以显得比较乱，但是步骤基本都有，排版就以后再说。 重试一次，自定义jar包程序运行。 1.建立scala项目 2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk，一般我这边已经有了 写程序：我终于，可以从头到尾，自己写下来所有的API。并且运行成功。 接下来开始打包，先注释掉，setMaster（“local”) main class，这边自动给我识别， 然后删除，除项目jar包以外的所有依赖，【集群环境里.

 选择右侧框中需要的jar包，右击Extract Into Output Root 就会进入左边的窗口内  再打包，就可将刚刚选择的jar一起打包到应用程序  

执行前记得在对应的节点上启动hdfs（start-dfs.sh ）、yarn（start-yarn.sh）和任务历史服务（mapred --daemon start historyserver）江科大大数据实践项目打包部分操作

IDEA将Scala程序封装成jar（提交spark集群） 我从网上看了好几篇博客介绍如何在IDEA中封装jar，内容大体相同，但是也有细微的差别，可能是对于特定的任务有不同方法，但是对我提交spark集群不起作用，现将正确的方法写下。 写在前面 需要先安装maven环境，并且在IDEA 中配置好。（IDEA中好像可以下一个maven的小插件，有个简单版的maven，但是我没有采用，因为我原来的环境中已经添加过maven） 具体步骤 在项目的根目录鼠标右击选择打开项目设置（没有汉化的化，请直接翻译）

一、scala程序 idea中写的某个程序（采取传参形式，尽量不要写死）： package com.atguigu import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { //1.创建配置信息 val conf=n...

在win系统中使用IDEA开发spark应用程序，并将其打成jar包上传到虚拟机中的三个Ubuntu系统，然后在分布式环境中运行

1、编辑需要运行的spark代码 最好是在linux环境的spark-shell，测试成功 package cn.edu.swpu.scs import org.apache.spark.{SparkConf, SparkContext} object App { def main(args: Array[String]){ val sparkConf = new SparkConf() val sc = new SparkContext(sparkConf) val

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.0.0</version> </dependency> <dependency> <groupId>org.apache.spark<.

一：spark代码 package com.qf.bigdata.spark.sql.day2 import com.qf.bigdata.spark.core.day3.SparkUtils import org.apache.spark.sql.SparkSession /** * SparkSQL整合Hive执行 */ object Demo11_SparkSQL_Hive { def main(args: Array[String]): Unit = { //1. 校验ja

1. Intellij IDEA 开发环境搭建 最近在学习scala，除需要编写scala程序外，同时还需要创建maven工程，打成Jar包，而Eclipse在这方面显得使用的不是那么方面，同时由于Intellij IDEA提供了非常智能的提示功能，所以选择IDEA作为开发环境。Intellij IDEA现在也提供社区版本供开发者免费使用，所以许多原来的Eclipse用户也逐渐的转向IDEA，一

第一步：   第二步： 第三步： 第四步： 第五步：   spark-submit --master yarn --deploy-mode cluster --driver-memory 4G --executor-memory 5g --num-executors 10 --conf nf spark.yarn.executor.memoryOverhearhe...