教你如何使用FusionInsight SqoopShell (2)

教你如何使用FusionInsight SqoopShell

5. 创建作业

根据show connection出来的信息选择对应链接,根据create帮助信息创建Job,然后根据命令行提示,输入对应信息,假如提示的参数无需设置,可按enter直接跳过

教你如何使用FusionInsight SqoopShell

也可以使用—help查看创建job的选项信息

教你如何使用FusionInsight SqoopShell

Json获取方法

1) 登录loader原生页面,创建一个相同类型的作业(如TaiPingTab)。

2) 导出作业的配置json文件,复制json文件中,hops的内容(包括大括号),保存为新的json文件

教你如何使用FusionInsight SqoopShell

3) 根据业务需要调整json文件。

3.2 批量模式

批量模式有两种方式,一种是./sqoop2-shell+脚本的方式,脚本中配置待执行的命令

另一种是./sqoop2-shell -c “待执行的命令”方式

获取帮助:

./sqoop2-shell -c "create connection -cn generic-jdbc-connector --help"获取创建connection的帮助信息

教你如何使用FusionInsight SqoopShell

./sqoop2-shell -c "create job -xn mysql -t import --help"查看创建Job帮助信息

教你如何使用FusionInsight SqoopShell

1. 脚本方式

cd /opt/hadoopclient/Loader/loader-tools-1.99.3/sqoop-shell

vi batchCommand.sh

教你如何使用FusionInsight SqoopShell

更新作业

教你如何使用FusionInsight SqoopShell

教你如何使用FusionInsight SqoopShell

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyxddg.html