正月十五,夜已深,微冷,不一样的元宵节。
经常会被问起传统的数据建模和大数据建模有什么区别,于是就在这里总结一些自己的思考。
序号 区别项传统数据建模
大数据建模1 模型用途
业务应用的开发
大数据分析2 前期调研内容
业务
业务、系统、数据
3 建模过程
调研业务,抽取业务活动涉及的关键的实体和关系,形成CDM
基于业务需求,根据CDM中的实体和关系,构件实体的必要属性,形成LDM,可作为需求的业务解决方案
选择合适的存储、计算等技术手段,落地LDM,形成PDM,即 完成表的设计
事实表 设计
维度表 设计
数据域/主题域 划分
4 建模方法
CDM--->LDM--->PDM
维度建模(流行方法)5 设计系统范围
单个应用系统
多个应用系统,即 使用多个应用系统的数据进行三大数据分析6 思路 “正向工程”,先建立模型,再通过模型开发应用系统 调研阶段为“逆向工程”,通过现成的业务系统,反推出其业务模型和物理模型
7
传统的数据建模流程见下图:
大数据开发过程(包括建模)如下:
一般大数据项目都拿不到业务系统的数据模型文档,至少拿不到准确的、被持续更新维护的模型文档。
其中,在通过逆向工程还原模型的时候,我们只需要针对性的还原其 概念模型和物理模型,没有必要还原其逻辑模型,
因为原始的业务系统逻辑模型是服务于业务系统的物理模型,对大数据项目而言,没有使用的价值。