qq_44698610的博客

架构组成 RDD：弹性，分布式，只读的一个数据集。（抽象概念） Exector：worker节点的一个进程：spark的任务是线程级别的。Exector负责对具体任务的分配 Exector的多线程执行任务与公用内存和磁盘的管理方式决定了优异性能 Application：用户自己编写的程序。包含了多个job与一个driver。 job：具体的操作，包含多个RDD及相应的操作 stage：job分配...

数组：array 可变可索引，元素具有相容类型的数据集合 数组直接打印为地址值。需加 （toBuffer） 进行输出 1.定长数组：Array val arr1 = new Array[Int](8) //默认的值都为0 //定义一个长度为3的定长数组 val arr3 = Array("hadoop", "storm", "spark") 2.变长数组：ArrayBuffer 需要...

scope标签 compile 编译测试运行，会被打包。 test 仅测试，不会被打包。 system system范围依赖与provided类似，但是你必须显式的提供一个对于本地系统中JAR文件的路径，需要指定systemPath磁盘路径，system依赖不推荐使用。 provided 编译与测试，会被打包。 runtime 表示运行时提供依赖范围。即编译时不需要，运行和测试时需要，会被打包。...