spark单机安装

最新推荐文章于 2025-04-23 01:00:00 发布

原创最新推荐文章于 2025-04-23 01:00:00 发布 · 389 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala

spark 同时被 2 个专栏收录

4 篇文章

订阅专栏

scala

4 篇文章

订阅专栏

spark下载地址：http://spark.apache.org/downloads.html

#解压:   

tar -xzvf spark-2.4.0-bin-hadoop2.6.tgz

cd  spark-2.4.0-bin-hadoop2.6

#执行命名  进入控制台
./bin/spark-shell

var lines = sc.textFile("README.md")

lines.count()

lines.first()

lines.take(1)

val linesWithApache = lines.filter(line => line.contains("Apache"))


#退出
:quit

cp spark-env.sh.template  spark-env.sh


#spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_151
export SPARK_MASTER_IP=localhost
export SPARK_LOCAL_IP=localhost
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g