教你如何使用FusionInsight SqoopShell

摘要:Sqoop-shell是一个Loader的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。

本文分享自华为云社区《FusionInsight SqoopShell使用案例》,作者:Jia装大佬。

1 SqoopShell使用简介

sqoop-shell是一个Loader的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。

sqoop-shell工具提供了如下功能:

支持创建和更新连接器

支持创建和更新作业

支持删除连接器和作业

支持以同步或异步的方式启动作业

支持停止作业

支持查询作业状态

支持查询作业历史执行记录

支持复制连接器和作业

支持创建和更新转换步骤

支持指定行、列分隔符

sqoop-shell工具支持如下模式:

交互模式

通过执行不带参数的“sqoop2-shell”脚本,进入Loader特定的交互窗口,用户输入脚本后,工具会返回相应信息到交互窗口。

批量模式

通过执行“sqoop2-shell”脚本,带一个文件名作为参数,该文件中按行存储了多条命令,sqoop-shell工具将会按顺序执行文件中所有命令;或者在“sqoop2-shell”脚本后面通过“-c”参数附加一条命令,一次只执行一条命令。

2 SqoopShell配置 2.1 配置Loader客户端

1. 使用“PuTTY”工具,使用安装客户端的用户登录客户端所在节点。

2. 执行以下命令,防止超时退出。

TMOUT=0

3. 执行以下命令,进入Loader客户端安装目录。例如,Loader客户端安装目录为“/opt/hadoopclient/Loader”。

cd /opt/hadoopclient/Loader

4. 执行以下命令,配置环境变量。

source /opt/hadoopclient/bigdata_env

5. 执行以下命令解压“loader-tools-1.99.3.tar”。

tar -xvf loader-tools-1.99.3.tar

解压后的新文件保存在“loader-tools-1.99.3”目录。

6. 执行以下命令修改工具授权配置文件“login-info.xml”,并保存退出。

vi loader-tools-1.99.3/loader-tool/job-config/login-info.xml

教你如何使用FusionInsight SqoopShell

2.2 配置sqoopshell 配置文件

使用“PuTTY”工具,使用安装客户端的用户登录Loader客户端所在节点。

执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/hadoopclient/Loader”。

cd /opt/hadoopclient/Loader/loader-tools-1.99.3/sqoop-shell/conf

执行以下命令,配置认证信息。

vi client.properties

教你如何使用FusionInsight SqoopShell

3 Sqoopshell使用示例 3.1 交互模式

1. 执行以下命令,进入交互模式(客户端以/opt/hadoopclient为例)。

source /opt/hadoopclient/bigdata_env

cd /opt/hadoopclient/Loader/loader-tools-1.99.3/sqoop-shell

./sqoop2-shell

2. 获取帮助信息(\h获取帮助信息,\cr获取create的帮助信息,\up获取更新的帮助信息,以此类推)

教你如何使用FusionInsight SqoopShell

3. 查看连接器

教你如何使用FusionInsight SqoopShell

以此类推,可以查看framework、job、connection等信息

教你如何使用FusionInsight SqoopShell

4. 创建连接器

根据show connector信息选择对应的连接器,根据create帮助信息创建connection,然后根据命令行提示,输入对应信息,假如提示的参数无需设置,可按enter直接跳过

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyxddg.html