摘要：为了更深入理解千亿参数的盘古大模型，华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦。谢博士以非常通俗的方式为我们娓娓道来了盘古大模型研发的“前世今生”，以及它背后的艰难往事。
本文分享自华为云社区《华为高级研究员谢凌曦：下一代AI将走向何方？盘古大模型探路之旅》，原文作者： 华为云社区精选 。
“每个人都生活在特定的时代，每个人在特定时代中的人生道路各不相同。在同一个时代，有人慨叹生不逢时，有人只愿安分……”这是2021年北京高考命题作文“论生逢其时”的开头。
答题的是一位既没上过小学，也没读过初中、高中的特殊考生。他只是在短时间内学习了大量人民日报的文章，然后凭借自己的阅读理解、文本联想以及语言生成能力，写出这篇看似“像模像样”的高考作文。
是的，它是一个AI——华为云盘古大模型，就在2021世界人工智能大会（WAIC2021）上刚被评选为大会的“镇馆之宝”！在现场，观众可与大模型互动，直接给对方出题。比如，一句“明明明明明白白白喜欢他，但他就是不说，他很高冷。”这句话里，“明明”显示一个人名，而后又作为形容词，且整句需要断句。但当记者向大模型提问 “白白喜欢谁？”时，大模型很快回答“明明”。回答正确！
虽然盘古没有寒窗苦读十几年，但它也经历了上亿参数的“学习”。
我们再来看个例子，比如理解下面这两句话：
小明在读书，通过不断坚持，克服各种困难，最后读完了。
小红在画画，期间遇到了很多困难，最后也完成了这副画作。
虽然上面两句话的人物和事件都不相同，但盘古也能和我们人类一样，从中提取一个相同的含义：锲而不舍。这个能力其实已经在华为开发者大会（Cloud）2021现场有所展示。我们不禁想问道盘古大模型是如何做到如此“聪慧”的呢？
为了更深入理解千亿参数的盘古大模型，华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦，考虑到大模型涉及到的一些技术比较晦涩，所以谢博士以非常通俗的方式为我们娓娓道来了盘古大模型研发的“前世今生”，以及它背后的艰难往事。
华为云EI盘古团队高级研究员 谢凌曦
何为大模型：AI落地千行百业的必由之路神话传说里，盘古开天辟地，宇宙从一片混沌变得有序。谈及盘古大模型，谢凌曦从人工智能的诞生开始说起。
“上世纪50年代，AI概念被提出，人们使用人工设计规则的方式去定义AI；到了80年代，在大数据的浪潮下，人们通过训练数据模型的方式来实现AI；后期随着数据规模扩大以及算力的发展，深度学习掀起新浪潮，各种AI模型不断涌现。”
“直到近两年，我们开始将跨领域的知识整合到AI模型中，基于Transformer结构的各种大模型出现，包括OpenAI的GPT-3，以及盘古大模型。它们打开了深度学习模型的规模与性能共同发展的局面，达到了深度学习领域新的高度。”谢凌曦说道。
过去十年，AI 算法对计算资源的需求增长了40万倍，神经网络从小模型到大模型已经成为了必然的发展趋势。大模型能够解决 AI 模型定制化和应用开发碎片化，它可以吸收海量的知识，提高模型的泛化能力，减少对领域数据标注的依赖。
大模型一方面激活了深度神经网络对大规模无标注数据的自监督学习能力，同时对于 AI 框架的深度优化和并行能力都有很高的要求，是深度学习框架下将AI做到极致的集大成者。“从传统方法到深度学习，这是一次大的跳跃，而在深度学习这个台阶上，大模型已经站在了最前面，等待着下一个台阶的出现。”