Azkaban3.x集群部署(multiple executor mode)(3)

log4j.rootLogger=DEBUG,C log4j.appender.C=org.apache.log4j.ConsoleAppender log4j.appender.C.Target=System.err log4j.appender.C.layout=org.apache.log4j.PatternLayout log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

如果没有log4j文件,将会以下错误:

Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHan

4、用户配置

添加管理员用户及密码:

<azkaban-users> <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/> <user password="metrics" roles="metrics" username="metrics"/> <user username="admin" password="admin" roles="admin,metrics"/>#新增管理员 <role name="admin" permissions="ADMIN"/> <role name="metrics" permissions="METRICS"/> </azkaban-users>

5、启动web-server

进入到web-server的目录,执行如下脚本,需要在bin级目录执行,否则汇报找不到配置文件的错误。

# bin/azkaban-web-start.sh

打开浏览器,访问https://172.31.217.172:8443,用刚刚添加的管理员账户密码登录。

配置 Azkaban Executor Server

1、修改conf/azkaban.properties

# cat azkaban.properties # Azkaban Personalization Settings default.timezone.id=Asia/Shanghai # Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects # Azkaban plugin settings azkaban.jobtype.plugin.dir=plugins/jobtypes database.type=mysql mysql.port=3306 mysql.host=172.31.217.173 mysql.database=azkaban mysql.user=azkaban mysql.password=bigdata@123 mysql.numconnections=100 # Azkaban Executor settings executor.maxThreads=50 executor.port=12321 executor.flow.threads=30

2、上传log4j文件

在azkaban目录下创建logs文件夹,位置跟conf在同一级,在conf目录中上传log4j文件。简单示例如下:

log4j.rootLogger=DEBUG,C log4j.appender.C=org.apache.log4j.ConsoleAppender log4j.appender.C.Target=System.err log4j.appender.C.layout=org.apache.log4j.PatternLayout log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

如果没有log4j文件,将会以下错误:

Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHan

3、启动exec-server

进入到exec-server的目录,执行如下脚本,需要在bin级目录执行,否则汇报找不到配置文件的错误。(一共三台机器)

# bin/azkaban-executor-start.sh # 在这种模式下,先要启动exec-server,再启动web-server

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/d94d3c14af6537b06651d0a1e1cbe489.html