azkaban安装使用

一、安装

1. 准备工作

1.1 下载

下载软件源码：
https://github.com/azkaban/azkaban
或是
https://github.com/azkaban/azkaban/releases

下载插件源码
https://github.com/azkaban/azkaban-plugins

下载的.zip包，则安装环境中需要在root用户下安装unzip，用于解压，命令如下：yum -y install unzip

本文选择的软件包是azkaban-3.90.0.tar.gz，插件包是azkaban-plugins-3.0.0.zip（在本文安装过程中，发现插件包有问题，其实别用插件包为好，直接用源码包中的部分内容即可，插件包无需下载了）

root安装git：yum install -y git gcc-c++，不安装会导致之后源码包编译失败：

Failed to apply plugin [id 'com.cinnober.gradle.semver-git']

1.2 环境要求

有安装hadoop、hive、mysql等，本文的hadoop、hive等集成了kerberos（即为安全集群）

2. 配置

2.1 软件配置

解压tar -zxvf azkaban-3.83.0.tar.gz，

### 进入到其解压的根目录(本文为`/usr/local/software/azkaban-3.90.0/`)
###
[rd@hadoop-server-002 /]$ cd /usr/local/software/azkaban-3.90.0/
### 执行命令如下命令进行编译：`./gradlew build installDist -x test`
###
[rd@hadoop-server-002 azkaban-3.90.0]$ ./gradlew build installDist -x test

每个组件的包在自己的目录里，这些目录里有build/distributions，构建结果就在这里，有tar包和zip包两种。

###  分别进/usr/local/software/azkaban-3.90.0/下的
###  azkaban-exec-server/build/distributions/、
###  azkaban-web-server/build/distributions/、
###  azkaban-db/build/distributions/中，
###  将其下的tar包拷贝到同一个目录(本文为/usr/local/apps/azkaban/)
###
cp /usr/local/software/azkaban-3.90.0/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz /usr/local/apps/azkaban/
cp /usr/local/software/azkaban-3.90.0/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz /usr/local/apps/azkaban/
cp /usr/local/software/azkaban-3.90.0/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz /usr/local/apps/azkaban/


###  之后分别解压拷贝过来的
###  azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz、
###  azkaban-db-0.1.0-SNAPSHOT.tar.gz、
###  azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
###
cd /usr/local/apps/azkaban/
tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
tar -zxvf azkaban-db-0.1.0-SNAPSHOT.tar.gz
tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

### 并分别重命名###
mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web-server
mv azkaban-exec-server-0.1.0-SNAPSHOT azkaban-exec-server
mv azkaban-db-0.1.0-SNAPSHOT azkaban-db

另外注意：编译完的源码包别删，下面还有用

2.1.1 数据库准备

进入/usr/local/apps/azkaban/azkaban-db可以发现其中有一个create-all-sql-0.1.0-SNAPSHOT.sql的sql语句，如下：

进入mysql执行该语句：

#创建数据库azkaban（该数据库名随意，但之后修改azkaban的配置时需一致）
mysql> CREATE DATABASE azkaban;
mysql> use azkaban;
mysql> source /usr/local/apps/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

之后查看mysql：

2.1.2 exec-server配置

2.1.2.1 exec的azkaban配置

进入/usr/local/apps/azkaban/azkaban-exec-server/conf，修改azkaban.properties

### 修改时区，
### 并注释如下部分，
### 该部分设置是web-server的个性化配置，exec-server用不到
###
# Azkaban Personalization Settings
#azkaban.name=Test
#azkaban.label=My Local Azkaban
#azkaban.color=#FF3601