qingyang0320的专栏

提交报错如下： 16/01/11 19:19:53 ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From sparkmaster/192.168.10.80 to sparkmaster:8021 failed on connection exception: java.n

先说一下我的环境： 2个node，其中一个是master兼worker，另外一个是纯worker master兼worker：sparkmaster  192.168.10.80 纯worker：sparkworker1  192.168.10.81 下载及安装 从官网下载预编译好的spark 1.6http://spark.apache.org/downloads.ht

今天整了一上午，终于在spark上跑出来了这个程序。 在eclipse上编了个简单Scala程序，code如下 package spark.wordcount import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf ob

今天成功在eclipse下开发了一个简单的Scala版WordCount，并在spark集群成功运行（standalone模式）。做个笔记mark一下 前提 安装了jdk，我的环境是1.7.0_79 安装包 Eclipse：eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.gz Scala：scala-2.10.6.rpm 下载

今天操作Spark的时候遇到如下错误 scala> val work = sc.textFile("file:///tmp/input") work: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[17] at textFile at :27 scala> work.count() 16/01/13 23:01:52 WAR

在Eclipse里开发spark项目，尝试直接在spark里运行程序的时候，遇到下面这个报错： ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.718592E8. Please u

参照文档加以修改和深化，mark一下 package mywork import java.io.File import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object WordCount { def main(arg

运行spark-submit遇到如下报错：Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://******, expected: file:/// 原因：conf.addResource(file:Path)的参数需要是一个Path类的实例，而不是String类的实例，所以如果这么写是不对

针对Spark的RDD，API中有一个aggregate函数，本人理解起来费了很大劲，明白之后，mark一下，供以后参考。 首先，Spark文档中aggregate函数定义如下 def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U