数据中台(架构篇)

在上一篇文章数据中台(方法论篇)中主要介绍了建设数据中台要建设哪些内容、建设的步骤以及建设过程中需要遵循一定的规范并符合公司的战略。也提及到了阿里巴巴数据中台的全景图,有了上面的基础,现在更能方便的理解数据中台的架构了。先来回顾下数据中台的概念。

数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断把数据变成资产并服务于业务的机制。数据中台是处于业务前台和技术后台的中间层,是对业务提供的数据能力的抽象和共享的过程,数据中台通过将企业的数据变成数据资产,并提供数据能力组件和运行机制,形成聚合数据接入、集成、清洗加工、建模处理、挖掘分析,并以共享服务的方式将数据提供给业务端使用,从而与业务产生联动,而后结合业务系统的数据生产能力,最终构建数据生产>消费>再生的闭环,通过这样持续使用数据、产生智能、反哺业务从而实现数据变现的系统和机制。数据中台(介绍篇)

数据中台功能定位

数据中台的功能定位是完成公司内部数据能力的抽象、共享和复用,因此,数据中台的架构必须围绕这三个功能来设计。与传统的大数据平台不同,数据中台搭建于大数据平台及数据仓库之上,将大数据平台和数据仓库所实现的功能以通用数据能力的形式提供给企业的所有部门。因此,单从功能上来讲,大数据平台实现具体的数据能力,数据仓库是业务建模、数据治理发生的地方,而数据中台则需要把大数据平台、数据仓库的数据和接口组织起来,通过打通数据提升数据能力,通过共享提高全局使用效率。因此数据中台的架构设计应该考虑如何有效地完成抽象、共享和复用的功能。

数据中台的建设应该贯穿数据处理的全生命周期,即从原始数据到最后产生数据价值的整个流程,且整个流程都处于数据中台的管理之下。下图显示了从原始数据到实现数据价值的完整流程,其中每一步都是数据中台建设需要考虑的:数据发现/探索,数据采集/导入,数据建模/治理,数据转换/分析,数据发现/探索,数据采集/导入,数据建模/治理,数据转换/分析

数据中台(架构篇)


数据中台要做的就是把上述流程在全局标准化、规范化,让这个流程产生的结果和能力能够在全局共享和复用。

数据中台的架构设计,其核心在于用全局统一的标准和规范来实现数据赋能,这与单一部门实现上述流程的侧重点是不同的。在数据中台的设计中,需要考虑如何灵活地支持数据能力的抽象,管理各种数据复用,确保它们都符合统一的数据规范和安全规则,同时又使各个部门能够独立演变属于自己的数据,而不需要进行复杂的多部门协调。数据中台应该能够支持各个部门在一个统一平台上完成上述流程中的所需功能,同时在发现有全局共享需要的时候,能够方便地将特定的数据能力共享给全公司,并且在后续的演变中不会因为协调的原因而拉长数据能力的演进过程。

数据中台架构设计原则

面向未来:应该能够很容易地将新出现的大数据、人工智能、机器学习应用和框架加入系统。新技术以前所未有的速度出现,如果数据中台不能快速适应变化,各部门可能很快就会自己另起炉灶,形成新的应用及数据孤岛。

需求驱动:数据中台的存在是为了更快、更好地满足业务部门的需求,因此其架构设计应该以如何快速处理需求为核心。

面向个体:系统的每个使用者面对的都是系统的一个方面,但是他们都应该能够从系统中获得他们需要的数据能力,自助完成他们的目标,达到最优的效率。

面向协作:考虑系统的每个使用者的行动如何影响整个系统的功能。个体用户对系统的使用会以自适应的方式影响整个系统的演进,例如,多个用户在有类似的数据能力需求时如何协同开发,我们的架构应该能清楚地掌握系统中核心元素之间的关系和连接。

面向变化:对于系统中所有的元素(用户、数据、应用、资源),架构设计必须考虑其变化和生命周期。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzpzsy.html