(一)Scala环境搭建
前提:大数据的所有项目,基于Idea+jdk+Maven来构建和管理项目。
- Maven用来统一管理所有项目所需要的依赖的jar包;
- 开发IDE:IDEA;
- IDEA + Maven来构建我们本地的项目开发环境。
1. JDK的安装
1.1. 下载地址
- 官网下载地址:https://www.oracle.com/java/technologies/downloads/archive/#JavaSE (需要注册以后才能下载,根据不同OS下载不同的JDK版本,JDK8以后需要收费,所以一般使用JDK8版本)
更详细的链接:https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html
- 自己提供的百度网盘链接: https://pan.baidu.com/s/1Y5rXKvCvM-2RTuv_5qsNUA 提取码: 4rh6
1.2. Linux安装&环境变量配置
- 软件上传后在/root下新建如下目录:
sofeware:下载后的软件包存放路径
data:测试数据
app:软件安装后的路径
source:源码存放路径
lib: 开发后的jar,第三方的jar包 - 软件解压:tar -zxvf jdk-8u333-linux-x64.tar.gz -C /root/app/
- 添加环境变量【示例】
[root@maggiedata ~]# pwd
/root
[root@maggiedata ~]# ll -a
......
-rw-r--r-- 1 root root 31 Sep 24 16:39 .bashhrc
-rw-r--r--. 1 root root 18 Dec 29 2013 .bash_logout
-rw-r--r--. 1 root root 176 Dec 29 2013 .bash_profile 【个人环境变量】
-rw-r--r--. 1 root root 176 Dec 29 2013 .bashrc 【个人环境变量】
.........
[root@maggiedata ~]# vi .bashrc 或者 vi .bash_profile
添加如下配置:
export JAVA_HOME=/root/app/jdk1.8.0_333 如果是非root用户,则为:export JAVA_HOME=/home/用户名/app/jdk1.8.0_133
export PATH=$JAVA_HOME/bin:$PATH
[root@maggiedata ~]# source .bashrc 【使配置生效】
-------------------------------------------------------------------------------------------------
[root@maggiedata ~]# vi /etc/profile 【查看全局环境变量,我之前已经设置过,设置如下(优先级高于个人环境变量配置)】
#env
export JAVA_HOME=/root/app/jdk1.8.0_333
export PATH=$JAVA_HOME/bin:$PATH
[root@maggiedata ~]# source /etc/profile 【使配置生效】
[root@maggiedata ~]# echo $PATH 【查看已经生效的环境变量】
/root/bin:/usr/java/jdk1.8.0_121/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
- 出现下面的,表示Linux环境安装成功:
1.3. windows安装&环境变量配置
- 下载windows的x64版本:jdk-8u333-windows-x64.exe,点击下一步下一步,完成安装。【安装过程省略】
- 配置windows的环境变量,添加JAVA_HOME路径;
- 在环境变量中,在path中添加:%JAVA_HOME%\bin
- 验证java是否安装成功,在cmd中输入:java -version
2. Maven的安装
2.1. 下载地址
- Maven、Spark、Flink、Hive、HBase都是Apache的顶级项目
- 官网地址都是:项目名称.apache.org
- https://maven.apache.org/
**官方下载地址:https://maven.apache.org/download.cgi **
2.2. Linux安装&环境变量配置
- 软件解压:tar -zxvf apache-maven-3.8.6-bin.tar.gz -C /root/app/
- 添加环境变量【示例】
[root@maggiedata app]# tar -zxvf apache-maven-3.8.6-bin.tar.gz -C /root/app/
[root@maggiedata app]# vi /etc/profile 【编辑全局环境变量】
export JAVA_HOME=/root/app/jdk1.8.0_333
export PATH=$JAVA_HOME/bin:$PATH
export MAVEN_HOME=/root/app/apache-maven-3.8.6
export PATH=$MAVEN_HOME/bin:$PATH
[root@maggiedata app]# source /etc/profile【生效全局环境变量】
[root@maggiedata app]# mvn -version 【提示下面的版本,就表示安装成功】
Apache Maven 3.8.6 (84538c9988a25aec085021c365c560670ad80f63)
Maven home: /root/app/apache-maven-3.8.6
Java version: 1.8.0_333, vendor: Oracle Corporation, runtime: /root/app/jdk1.8.0_333/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-957.21.3.el7.x86_64", arch: "amd64", family: "unix"
2.3. windows安装&环境变量配置
- 文件下载,选择最新版maven下载
- 解压到本地文件夹;
- 配置环境变量,添加MAVEN_HOME,添加path
- 验证maven是否配置成功,输入mven -version。
2.4. Maven中setting.xml配置windows下的仓库地址
Maven是使用GAV这三个坐标来完成定位功能
-
- 找到Maven安装地址下的setting.xml目录:%MAVEN_HOME%/conf/setting.xml
-
- 在setting.xml中配置如下相关信息:
1. 本地仓库地址,如果不配置,放置在C盘...\${用户}\.m2\repository
<localRepository>D:\Software\apache-maven-3.8.6\repository</localRepository>
2. 配置镜像地址:Mirrors 【如果下面配置的仓库均找不到,会到https://mvnrepository.com/ 中央仓库中进行查找】
<mirrors>
<!-- 给定仓库的下载镜像。 -->
<mirror>
<!-- 该镜像的唯一标识符。id用来区分不同的mirror元素。 -->
<id>alimaven</id>
<!-- 镜像名称 -->
<name>aliyun maven</name>
<!-- 该镜像的URL。构建系统会优先考虑使用该URL,而非使用默认的服务器URL。 -->
<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
<!-- 被镜像的服务器的id。例如,如果我们要设置了一个Maven中央仓库
(http://repo.maven.apache.org/maven2/)的镜像,就需要将该元素设置成central。这必须和中
央仓库的id central完全一致。 -->
<mirrorOf>central</mirrorOf>
<--!下面是常用的mirror国内镜像服务器(如果公司有镜像的配置公司镜像的地址)-->
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
<mirror>
<id>uk</id>
<mirrorOf>central</mirrorOf>
<name>Maven repository in UK</name>
<url>http://uk.maven.org/maven2/</url>
</mirror>
<mirror>
<id>osc</id>
<mirrorOf>central</mirrorOf>
<name>Maven repository provided by oschina</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
</mirrors>
3. IDEA的安装
3.1. 下载地址
官网下载路径地址:https://www.jetbrains.com.cn/idea/ 【个人推荐使用Community】
3.2. windows安装&环境变量配置
- 安装过程省略。
3.3. IDEA使用简介
- 创建Maven项目
- 根据IDEA中GroupId、ArtifactId、Version【简称GAV】来创建一个新的project
- 设置IDEA中的Maven配置
4. Scala的安装
Scala作者:Martin Odersky
Scala是一门多范式的编程语言,是一种类似Java的编程语言。设计初衷是实现“可伸缩”的语言、并集成面向对象编程和**函数式编程【*****】**的各种特性。
Scala还包含了若干函数式语言的关键概念:
- 高阶函数
- 柯里化
- 嵌套函数
- 序列解读
Scala 是什么(小结)
运行在JVM上的,包含面向对象、函数式编程 为一体的 静态 编程语言
Scala和Java可以互操作
4.1. 下载地址
官网地址:https://www.scala-lang.org/
软件安装包下载地址:https://www.scala-lang.org/download/all.html
推荐官网文档阅读:https://docs.scala-lang.org/getting-started/index.html
官方所有API文档:https://docs.scala-lang.org/
4.2. Linux安装&环境变量配置
[root@maggiedata sofeware]# tar -zxvf scala-2.12.10.tgz -C /root/app/
[root@maggiedata app]# vi /etc/profile 【编辑全局环境变量】
export SCALA_HOME=/root/app/scala-2.12.10
export PATH=$SCALA_HOME/bin:$PATH
[root@maggiedata app]# source /etc/profile 【生效全局环境变量】
[root@maggiedata sofeware]# scala -version 【提示下面的版本,就表示安装成功】
Scala code runner version 2.12.10 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.
[root@maggiedata sofeware]# scala 【切换到scala编程界面】
Welcome to Scala 2.12.10 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_333).
Type in expressions for evaluation. Or try :help.
scala>
4.3. windows安装&环境变量配置
-
下载windows安装包:scala-2.12.10.zip, 并解压压缩文件
-
配置环境变量,添加SCALA_HOME路径,编辑path
-
出现如下框,表示scala安装成功。
5. 初始Scala编程:Hello Scala
scala> 1+1
res0: Int = 2
scala> 20+49
res1: Int = 69
scala> res0 * 3
res2: Int = 6
scala> println("Hello Scala")
Hello Scala
[root@maggiedata data]# vi HelloScala.scala
// main方法是程序执行入口 Scala中并没有强制要求一定要以;结束 【但是】
object HelloScala{
def main(args:Array[String]){
println("hello Scala")
}
}
[root@maggiedata data]# ls
HelloScala.scala
[root@maggiedata data]# scalac HelloScala.scala
[root@maggiedata data]# ls
HelloScala.class HelloScala$.class HelloScala.scala
[root@maggiedata data]# scala HelloScala
hello Scala
xxx.scala ==> scalac ==> xxx($).class ==> scala
6. IDEA中如何添加Scala支持
- 在IDEA的setting中添加Scala插件
- 在IDEA中添加Module【普通练习的时候,这步可以忽略】
- 添加Framework Support支持,选择支持Scala
- 在pom.xml中添加Scala的依赖包
<dependencies>
<!--添加Scala的依赖-->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.12.10</version>
</dependency>
</dependencies>
- 出现了Scala Class就表示可以支持Scala了
- 至此环境搭建成功,可以开始Scala之旅了