大数据产品架构
BASE - Dataworks
ODPS - MaxCompute
ODPS 功能组成(Open Data Process Service)ODPS 是旧称,阿里云公有云服务中现称为 MaxCompute
Tunnel - 高速上传外部数据到 ODPS 内部,也可以高速下载 ODPS 内部数据到外部
ODPS 基本概念 项目空间(Project) 表(Table) 分区(Partition) 任务(Task)①. — 任务(Task):单个 SQL Query 或者 MapReduce 程序统称为一个任务 。
②. — 工作流(Workflow):有向无环图(DAG),描述各个 Task 之间的依赖和约束 。
③. — 作业(Job):由一个或者多个 Task 以及表示其执行次序关系的工作流(Workflow)组成 。
④. — 作业实例(Instance):作业被提交到系统执行时,就产生了作业实例(动态概念) 。一个 Job(作业)多提交运行就会有多个 Instance(作业实例),Instance 保存了执行时的快照(Snapshot)和返回状态 。
资源(Resource) ODPS 基础架构ODPS 整体架构
ODPS 客户端 ODPS 接入层 ODPS 逻辑层 ODPS 计算层