我眼中的华为公有云AI平台--ModelArts

AWS Sagemaker has been a great deal for most data scientists who would want to accomplish a truly end-to-end ML solution——by John Moolayil

这是数据科学在线网站“towards data science”一篇文章中的一段话。时常有人问我,“为什么会有ModelArts存在”,这是一个很有价值的问题,结合国外专家对AWS Sagemaker的评价,我决定写一篇文章,讲讲我对华为云ModelArts全流程AI平台的理解。

ModelArts平台的初心

为什么不能仅仅使用开源软件构建AI训练和推理过程?答案是,可以的,但是不能用于大规模生产环境下,至于为什么我这么说,让我们先谈谈人工智能产品。我认为,如果要将人工智能技术集成到各个行业,需要有一套完整的软硬件平台支撑。

人工智能平台大致的分层架构如下图所示:

我眼中的华为公有云AI平台--ModelArts

完整的人工智能平台,水平方向上支持端、边、云三种场景,每个场景均涵盖了从底层硬件至上层应用。

最底层是芯片层(例如华为的昇腾芯片、Google的TPU芯片、NVIDIA的GPU卡),再往上是适用于端边云的硬件系统(包括服务器和终端设备等)及其基础软件环境(如云服务、操作系统)。

位于这三层之上的是AI计算引擎层,AI计算引擎可以借助计算资源,完成AI模型的训练和推理。当模型训练后之后,需要部署进行推理,推理模块由于计算资源消耗较少,更容易覆盖端、边、云三个场景。

在AI计算引擎之上,人工智能平台提供了常用的AI框架、算法、模型及其其他工具方便用户进行AI业务的开展。常用的AI工具包括但不限于:数据的格式转换、预处理、模型保存、模型评估、模型压缩等等。AI框架、算法、模型和工具是解决常用AI问题时必备的组件。这些可以大大降低AI应用开发的门槛,简化开发AI应用所需的代码量。在此之上,AI应用平台服务提供AI应用的开发和部署服务,支持一次开发、任意部署(含云、边、端)。

再往上是AI应用平台服务,它提供端到端的AI应用开发和部署服务。

最顶层是基于AI应用平台服务开发出的AI解决方案和AI应用,可用于解决业务问题。

自下向上的每一层,我们可以看出,AI平台需要提供从硬件到软件、算法工具再到云服务的全栈优化,才能够真正提升AI应用开发的效率,进而使能行业AI。

ModelArts平台的初心,除了降低以上所说的各层的复杂性之外,更是为了便于用户创造AI应用。为什么AI应用有别于传统软件应用?因为目前常用的人工智能算法,大多基于概率统计,所以具有一定的不确定性和概率性。例如在图像分类场景下,任何AI模型都不可能实现100%的分类准确率。当AI模型预测一张图像类别时必须伴随着一定的概率值,这个概率值不可能达到100%,只能无限接近。而传统AI软件基本都在执行确定性的操作,不会出现概率性。这就是AI应用和传统软件应用最大的区别。

如下表所示,从产品设计、方案设计、开发、测试、上线再到运维的全生命周期的每个阶段中,传统软件应用开发和AI应用开发都有很大的区别。

我眼中的华为公有云AI平台--ModelArts

初识ModelArts

我眼中的华为公有云AI平台--ModelArts

这是ModelArts的首页,有人会说为什么这么杂乱,很多功能都被平铺在了首页上?如果你换位思考,ModelArts是面向2C用户的AI平台,从完全不懂编程的小白,到精通AI开发全流程的工程师,我们要让更多人享受到AI带来的红利,我们自然需要覆盖更广的用户技能范围,所以,你看到了自动学习、AI全流程开发,这两个不同方向并排在了首页。普惠,了然于心。

进一步剖析ModelArts

了解一下AI全流程开发,如下图所示:

我眼中的华为公有云AI平台--ModelArts

对于数据管理的理解

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyzypd.html