浅谈 传统的数据建模和大数据场景下的数据建模

正月十五,夜已深,微冷,不一样的元宵节。

经常会被问起传统的数据建模和大数据建模有什么区别,于是就在这里总结一些自己的思考。 

序号     区别项  

传统数据建模

  大数据建模  
  模型用途  

业务应用的开发

  大数据分析  
  前期调研内容  

业务

 

业务、系统、数据

 
  建模过程  

调研业务,抽取业务活动涉及的关键的实体和关系,形成CDM

基于业务需求,根据CDM中的实体和关系,构件实体的必要属性,形成LDM,可作为需求的业务解决方案

选择合适的存储、计算等技术手段,落地LDM,形成PDM,即 完成表的设计

 

事实表 设计

维度表 设计

数据域/主题域 划分

 
   建模方法  

CDM--->LDM--->PDM

   维度建模(流行方法)  
   设计系统范围  

单个应用系统 

   多个应用系统,即 使用多个应用系统的数据进行三大数据分析  
   思路   “正向工程”,先建立模型,再通过模型开发应用系统     调研阶段为“逆向工程”,通过现成的业务系统,反推出其业务模型和物理模型  
 7              

传统的数据建模流程见下图:

浅谈 传统的数据建模和大数据场景下的数据建模

大数据开发过程(包括建模)如下:

一般大数据项目都拿不到业务系统的数据模型文档,至少拿不到准确的、被持续更新维护的模型文档。

其中,在通过逆向工程还原模型的时候,我们只需要针对性的还原其 概念模型和物理模型,没有必要还原其逻辑模型,

因为原始的业务系统逻辑模型是服务于业务系统的物理模型,对大数据项目而言,没有使用的价值。

浅谈 传统的数据建模和大数据场景下的数据建模

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzsswd.html