AI加持的阿里云飞天大数据平台技术揭秘 (3)

AI加持的阿里云飞天大数据平台技术揭秘

2018年的时候我们做什么?2018年我们在单引擎的基础上对接到多引擎,我们整个开发链路要让它闭环化,数据集成可以把数据在不同的数据源之间进行拖动,我们把数据开发完之后,传统的方式是再用数据引擎把它拖走,而我们做的事情是希望这个数据是云上的服务,这个服务能够直接对用户提供想要的数据,而不需要把数据整个拖走,因为数据在传输过程中有存储的消耗、网络的消耗和一致性消耗,所有的这些东西都在消耗用户的成本,我们希望通过数据服务让用户拿到他想要的东西。再往下,如果数据服务之上还有自定义的应用,用户还需要去建一个机房,搭一个web服务,然后把数据拿过来,这样也很麻烦,所以我们提供一个托管的web应用的云上开发平台,能够让用户直接看到所有的数据服务,在这个方向上来说,我们就可以构建任意的数据智能解决方案。

AI加持的阿里云飞天大数据平台技术揭秘

到2019年,我们会把理念再拓展一层,首先对于用户来说是用户交互层,但是用户的交互层不仅仅是开发,所以我们会把用户分成两类,一部分叫做数据的生产者,也就是写任务、写调度、运维等,这些是数据的生产者,数据的生产者做好的东西给谁呢?给数据的消费者,我们的数据分散在各个地方,所有的东西都会在治理的交互层对数据的消费者提供服务,这样我们就在一个新的角度来诠释飞天大数据平台。除了引擎存储以外,我们有全域的数据集成进行拉动,统一的调度可以在不同的引擎之间来切换协同工作,同时我们有统一的元数据管理,在这之上我们对数据的生产者和数据的消费者也都进行了相应的支持,那么这个整体就是全域的大数据平台产品架构。

云原生平台到全域云数仓

我们整个平台都是云原生的,云原生有哪些技术呢?

AI加持的阿里云飞天大数据平台技术揭秘

飞天大数据平台在10年前就坚持云原生的数据,云原生意味着三件事情,第一开箱即用、不用不花钱,这个和传统的买硬件方式有非常大的不同;第二我们具备了秒级自适应的弹性扩展,用多少买多少;第三因为是云上的框架,我们很多运维和安全的东西由云自动来完成了,所以是安全免运维的。从系统架构上讲,飞天大数据包括传统的CPU、GPU集群,以及平头哥芯片集群,再往上是我们的伏羲智能调度系统和元数据系统,再往上我们提供了多种计算能力,我们最重要的目标就是通过云原生设计把10万台在物理上分布在不同地域的服务器让用户觉得像一台计算机。我们今天已经达到了10年前的设计要求,具备了更强的服务扩展能力,能够支撑5到10年的数据进步的发展。

我们充分利用云原生设计的理念,支持大数据和机器学习的快速大规模弹性负载需求。我们支撑0~100倍的弹性扩容能力,去年开始,双十一60%的数据处理量来自于大数据平台的处理能力,当双11巅峰来的时候,我们把大数据的资源弹回来让给在线系统去处理问题。从另外一个角度来讲,我们具备弹性能力,相比物理的IDC模式,我们有80%成本的节省,按作业的计费模式,我们提供秒级弹性伸缩的同时,不使用不收费。相比自建IDC,综合成本只有1/5。除了坚持原生之外,我们最近发现,随着人工智能的发展,语音视图的数据越来越多了,处理的能力就要加强,我们要从二维的大数据平台变成全域的数据平台。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzdsyz.html