【大数据】Azkaban学习笔记 (2)

【大数据】Azkaban学习笔记

1) AzkabanWebServer:AzkabanWebServer是整个Azkaban工作流系统的主要管理者,它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。

2) AzkabanExecutorServer:负责具体的工作流的提交、执行,它们通过mysql数据库来协调任务的执行。

3) 关系型数据库(MySQL存储大部分执行流状态,AzkabanWebServerAzkabanExecutorServer都需要访问数据库。

1.8 Azkaban下载地址

下载地址:

Azkaban安装部署 2.1 安装前准备

1) Azkaban Web服务器、Azkaban执行服务器、Azkabansql执行脚本及MySQL安装包拷贝hadoop102虚拟机/opt/software目录

a) azkaban-web-server-2.5.0.tar.gz

b) azkaban-executor-server-2.5.0.tar.gz

c) azkaban-sql-script-2.5.0.tar.gz

d) mysql-libs.zip

2) 选择Mysql作为Azkaban数据库,因为Azkaban建立了一些Mysql连接增强功能,以方便Azkaban设置,并增强服务可靠性(参见hive文档2.4

2.2 安装Azkaban

1) /opt/module/目录下创建azkaban目录

[atguigu@hadoop102 module]$ mkdir azkaban

2) 解压azkaban-web-server-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz到/opt/module/azkaban目录

[atguigu@hadoop102 software]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban/

[atguigu@hadoop102 software]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /opt/module/azkaban/

[atguigu@hadoop102 software]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /opt/module/azkaban/

3) 对解压后的文件重新命名

[atguigu@hadoop102 azkaban]$ mv azkaban-web-2.5.0/ server

[atguigu@hadoop102 azkaban]$ mv azkaban-executor-2.5.0/ executor

4) azkaban脚本导入

进入mysql,创建azkaban数据库,并将解压的脚本导入到azkaban数据库。

[atguigu@hadoop102 azkaban]$ mysql -uroot -p000000

mysql> create database azkaban;

mysql> use azkaban;

mysql> source /opt/module/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

注:source后跟.sql文件,用于批量处理.sql文件中的sql语句。

2.3 生成密钥库

Keytooljava数据证书的管理工具,使用户能够管理自己的公/私钥对及相关证书。

-keystore    指定密钥库的名称及位置(产生的各类信息将不在.keystore文件中)

-genkey      在用户主目录中创建一个默认文件".keystore"

-alias  对我们生成的.keystore 进行指认别名;如果没有默认是mykey

-keyalg  指定密钥的算法 RSA/DSA 默认是DSA

1)生成 keystore的密码及相应信息的密钥库

[atguigu@hadoop102 azkaban]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入密钥库口令:  

再次输入新口令:

您的名字与姓氏是什么?

[Unknown]:  

您的组织单位名称是什么?

[Unknown]:  

您的组织名称是什么?

[Unknown]:  

您所在的城市或区域名称是什么?

[Unknown]:  

您所在的省//自治区名称是什么?

[Unknown]:  

该单位的双字母国家/地区代码是什么?

[Unknown]:  

CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确?

[]:  y

输入 <jetty> 的密钥口令

(如果和密钥库口令相同, 按回车):  

再次输入新口令:

注意:

密钥库的密码至少必须6个字符,可以是纯数字或者字母或者数字和字母的组合等等

密钥库的密码最好和<jetty> 的密钥相同,方便记忆

2)将keystore 拷贝到 azkaban web服务器根目录中

[atguigu@hadoop102 azkaban]$ mv keystore /opt/module/azkaban/server/

2.4 时间同步配置

先配置好服务器节点上的时区

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwsgzd.html