DataWorks数据工场,是MaxComputer的可视化开发平台,一站式开发、管理界面。
1.功能概述
1.强大调度:支持分钟到月的调度
2.多种任务:支持ODPS、SHELL等多种任务
3.可视化开发:B/S架构的可视化开发界面,简单易上手
2.基本概念
1.任务
0个或多个表作为输入,1个或多个表作为输出。主要分为节点任务、工作流任务、内部节点
2.实例
某个任务某个时刻的运行快照
3.提交
提交的任务会到调度系统(不提交的不能加入调度系统)
4.资源和函数
俗称的JAR、UDF
以上都可在DataWorks中找到:
// 因版本差异可能不同,此处是在左上
二、基本开发流程主要包括:建表上传数据->创建工作流->创建同步任务->创建周期和依赖->运维日志排错
1.建表上传数据
在任务开发中新建一个节点任务,写入DDL建表语句,运行即可完成建表,通过找表即可找到新建的表:
// 各个版本DataWorks可能稍有不同
数据同步任务,将在下节详述
2.创建工作流
创建任务时选择工作流任务即可创建工作流:
一般而言会创建一个虚节点用于做控制节点,虚节点对运行数据不产生任何影响,仅用于对下游节点的控制,一般而言,虚节点作为根节点控制整个工作流。
3.创建同步任务
注意RDS等数据源需要添加白名单等(ECS添加安全组)
首先需要项目管理员新建数据源:
新版DataWorks是在数据集成中新建,老板的在项目管理中:
新建的数据同步在新版中是数据集成的左上角,老板的需要在新建任务时选择任务类型:
// 底层核心应该是DataX
简单起见,可以用向导模式,可视化同步数据
4.配置周期和依赖
双击打开任务后,在页面右侧点击任务属性即可配置(新版略有不同):
即可配置周期调度以及依赖属性了,当有依赖任务时必须等待上游任务跑完才能执行(即使本身已到运行时间)
5.运维日志管理
可以通过运维中心查看任务,右击即可管理查看。