Azkaban3.x集群部署(multiple executor mode)(2)

本文将采用multiple executor mode安装模式,组件分配如下: bd-dev-ops-170 172.31.217.170 azkaban-exec-server bd-dev-ops-171 172.31.217.171 azkaban-exec-server bd-dev-ops-172 172.31.217.172 azkaban-web-server azkaban-exec-server bd-dev-ops-173 172.31.217.173 mysql-server

在172上创建/opt/Azkaban-web-server目录,把编译好的软件拷贝到该目录,包含以下目录:

bin 启动脚本存放目录 conf 配置文件存放目录(没有的话从solo-server的目录中拷贝过来) lib 依赖jar包存放目录 extlib 附加jar包存放目录(没有的话手动创建) plugins 插件安装目录 web web资源文件

在170,171,172上创建目录/opt/Azkaban-exec-server目录,把编译好的软件拷贝到该目录,包含以下目录:

bin 启动脚本存放目录 conf 配置文件存放目录(没有的话从solo-server的目录中拷贝过来) lib 依赖jar包存放目录 extlib 附加jar包存放目录(没有的话手动创建) plugins 插件安装目录

配置Azkaban Web Server

1、配置jetty ssl

# keytool -keystore keystore -alias jetty -genkey -keyalg RSA Enter keystore password: Re-enter new password: What is your first and last name? [Unknown]: YY What is the name of your organizational unit? [Unknown]: YY What is the name of your organization? [Unknown]: YY What is the name of your City or Locality? [Unknown]: shanghai What is the name of your State or Province? [Unknown]: shanghai What is the two-letter country code for this unit? [Unknown]: CN Is CN=YY, OU=YY, O=YY, L=shanghai, ST=shanghai, C=CN correct? [no]: yes

将生成的keystone文件拷贝到web-server的安装目录下,和conf等目录同级

2、修改conf/azkaban.properties配置文件

#cat azkaban.properties # Azkaban Personalization Settings azkaban.name=Test #服务器UI名称,用于服务器上方显示的名字 azkaban.label=My Local Azkaban #描述 azkaban.color=#FF3601 #UI颜色 azkaban.default.servlet.path=/index web.resource.dir=web/ #默认根web目录 default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 # Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类 user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参见下文 # Loader for projects executor.global.properties=conf/global.properties #globa配置文件所在位置 azkaban.project.dir=projects # Velocity dev mode velocity.dev.mode=false # Azkaban Jetty server properties. #jetty服务器属性 jetty.maxThreads=25 #最大线程数 jetty.ssl.port=8443 #jetty ssl端口号 jetty.port=8081 #jetty端口 jetty.keystore=keystore #SSL文件名 jetty.password=bigdata@123 #SSL文件密码 jetty.keypassword=bigdata@123 #jetty主密码与keystore文件相同 jetty.truststore=keystore #SSL文件名 jetty.trustpassword=bigdata@123 #SSL文件密码 # Azkaban Executor settings executor.port=12321 #执行服务器端口 # mail settings #邮件配置(暂没有配置) mail.sender= #发送邮箱 mail.host= #发送邮箱smtp地址 mail.password= #邮箱密码 job.failure.email= #任务失败时发送邮件的地址 job.success.email= #任务成功时发送邮件的地址 lockdown.create.projects=false cache.directory=cache #缓存目录 # JMX stats jetty.connector.stats=true executor.connector.stats=true # Azkaban plugin settings azkaban.jobtype.plugin.dir=plugins/jobtypes database.type=mysql #数据库类型 mysql.port=3306 #数据库端口号 mysql.host=172.31.217.173 #数据库连接地址 mysql.database=azkaban #数据库实例名 mysql.user=azkaban #数据库用户名 mysql.password=bigdata@123 #数据库密码 mysql.numconnections=100 #数据库最大连接数 azkaban.use.multiple.executors=true azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1 azkaban.executorselector.comparator.Memory=1 azkaban.executorselector.comparator.LastDispatched=1 azkaban.executorselector.comparator.CpuUsage=1

3、上传log4j文件

在azkaban目录下创建logs文件夹,位置跟conf在同一级,在conf目录中上传log4j文件。简单示例如下:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/d94d3c14af6537b06651d0a1e1cbe489.html