Oozie4.0.1详细安装教程(2)

2.9、配置mysql数据库,并生成oozie数据库脚本文件(将会在/usr/local/oozie/bin目录下生成oozie.sql文件)
    mysql -u root -p    (进入mysql命令行)
    create database oozie;    (创建名称为oozie的数据库)
    grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';    (设置oozie数据库的访问全选,创建用户名为oozie,密码为oozie的用户)
    grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';    (设置oozie数据库的访问权限)
    FLUSH PRIVILEGES;
    在/usr/local/oozie/bin目录下执行以下命令:
    ./ooziedb.sh create -sqlfile oozie.sql
    接着执行如下命令,执行oozie数据库脚本文件,这将在oozie数据库中生成与oozie相关的数据表
    ./oozie-setup.sh db create -run  -sqlfile /usr/local/oozie/bin/oozie.sql


    2.10、修改hadoop安装目录下的core-site.xml文件,hu为用户名,hu为hu用户所在的组(修改完之后,需要重启hadoop)

<property>
    <name>hadoop.proxyuser.hu.hosts</name>
    <value>192.168.168.101</value>(192.168.168.101应改为hadoop的主节点ip)
    </property>
    <property>
    <name>hadoop.proxyuser.hu.groups</name>
    <value>hu</value>
    </property>

2.11、修改/usr/local/oozie/conf/hadoop-conf/core-site.xml文件,添加如下:

<property>
    <name>yarn.resourcemanager.address</name>
      <value>192.168.168.101:8032</value>(应与hadoop的配置相同,同下)
      </property>
    <property>
      <name>yarn.resourcemanager.scheduler.address</name>
      <value>192.168.168.101:8030</value>
    </property>

2.12、执行bin\oozie-start.sh,启动oozie


    可以用如下命令,查看oozie的运行状态。正常的话,应该显示NORMAL
    ./oozie admin -oozie :11000/oozie -status


    如果启动还有错误可以查看/usr/local/oozie/logs/catalina.out 里面的错误日志


    2.13、运行oozie的mapreduce示例程序
   
    将实例程序上传至HDFS的/user/hu文件夹
    bin/hadoop fs -copyFromLocal /usr/local/oozie/examples  /user/hu


    修改/usr/local/oozie/examples/apps/map-reduce/job.properties文件(yarn中已经没有jobTracker,以下jobTracker填入yarn.resourcemanager.address的值,oozie.wf.application.path即HDFS中oozie示例程序的路径)
    nameNode=hdfs://master:9000
    jobTracker=master:8032
    queueName=default
    examplesRoot=examples


    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce
    outputDir=map-reduce


    在/usr/local/oozie/oozie-client-4.0.1/bin中调用oozie脚本,执行工作流
    ./oozie job -oozie :11000/oozie -config /usr/local/oozie/examples/apps/map-reduce/job.properties -run


    注意:若此时报错:java.net.ConnectException: Connection refused,则表明oozie没有启动

指定Oozie Java节点的Hadoop属性

Hadoop平台上Oozie调度系统的安装配置

Oozie中运行mapreduce node-action时的常见异常解决方法

Oozie web-console 时间本地化

Hadoop Oozie学习笔记 使用Oozie,通过命令行运行example

Hadoop Oozie学习笔记 自定义安装和启动

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/0d47e37707dc8eada0220d7bb6679022.html