2015年:《A Boy and His Kite》。展示了当时的开放世界概念和自然的角色动画风格与凭借第一人称射击游戏成名的Epic以前做过的任何项目都大不相同。
《A Boy and His Kite》的画面
2016年:《地狱之刃:塞娜的献祭》。这是Unreal将数字人引入实时游戏的一次尝试,从画质表现上,已经达到了异常逼真的程度。
《地狱之刃:塞娜的献祭》中的游戏角色画面
2017年:《Meet Mike》。在Siggraph 2017中,Epic Game凭借此项目为世人展示了数字人科技的最新研究:利用最先进的画面捕捉技术、体感控制技术以及画面渲染技术在计算机中塑造人类的化身。其中数字人Mike是著名电影特效大师以及Fx Guide网站创始人Mike Seymour的化身。
Unreal Engine官方团队制作的Mike虚拟角色
2018年:《Siren》。Siren是Epic Game、3Lateral、Cubic Motion、Vicon以及腾讯的NEXT工作室等多家跨国公司倾力合作,花费半年多打造的顶级实时渲染的虚拟角色。从画质效果上看,已经与数码照片无异。
《Siren》虚拟角色的细节,与数码相机摄制的照片如出一辙
1.2.2 《Meet Mike》项目笔者本想以《Siren》的虚拟角色为依托进行研究,奈何官方并未将此项目开源。
所以本文只能用《Meet Mike》项目的角色作为研究对象。
《Meet Mike》项目的资源和源码可以从Unreal Engine的Epic Games Launcher中下载获得。
《Meet Mike》资源和源码下载具体步骤
若成功下载了Mike工程,打开项目的DigitalHuman.uproject文件,可以看到下面的画面:
点击右上角World Outliner面板的”final_mike“,可以查看Mike模型及其所有材质的细节。
如果要研究某个部分的材质(比如皮肤),双击对应的材质,即可打开材质节点。下图是双击M_Head皮肤材质后的界面:
打材质编辑器后,便可以进行后续的研究。后面章节将着重研究数字人的皮肤、眼球、毛发以及身体其它部位的渲染技术。
Mike的一些数据:
57万个三角形,69万个顶点。其中大量三角形集中在脸部,特别是头发,约占75%。
每根头发都是单独三角形,大约有2万多根头发。
脸部骨骼绑定使用了大约80个关节,大部分是为了头发的运动和脸部毛发。
脸部模型大约只用了10个关节,分别用在下巴、眼睛和舌头,目的是为了运动更加圆滑。
脸部使用了Technoprop公司先进的配有立体红外摄像头的固定在头部的面部捕捉装置。
综合使用了750个融合变形(blend shapes)。
系统使用了复杂的传统软件和三种深度学习AI引擎。
二、皮肤渲染