演讲嘉宾:华为海思麒麟GPU团队工程师
大家好,我来自华为海思麒麟团队的一名GPU研发工程师,今天给大家带来的主题是“CG Kit探索移动端高性能渲染”。
华为图形计算服务(Computer Graphics Kit,简称“CG Kit”)提供最前沿计算机图形学领域的渲染框架、插件SDK与GPU扩展接口,协助开发者挖掘硬件极限性能,大幅降低开发难度,帮助开发者创造出体验更佳的产品。
那么,CG Kit能提供哪些解决方案呢?一、Vulkan渲染框架实践
Vulkan是最新的图形标准API,相较于OpenGL具备一定的优势,并且OpenGL这个标准已经停止演进,未来图形学基本上以Vulkan向前演进。举个例子,移动端的光线追踪就是在Vulkan中描述,并且在OpenGL中是没有的。但问题在于,Vulkan非常灵活,它相较OpenGL有一定的使用门槛,所以就需要有基于Vulkan高性能的渲染框架,以此提供实践架构和方案,充分发挥出硬件性能。
二、高性能渲染插件
CG Kit提供多线程渲染、拍照超分、体积云、遮挡剔除等一系列渲染能力的插件,以便于三方合作的顺利进行,比如去年的网易《天谕》手游就集成了拍照超分的算法。
三、开发者工具链
CG Kit也提供了完整的开发者工具链,我们可以帮助开发者迅速定位解决渲染功能和性能问题。大家可以想象一下,如果未来工具可以自动识别游戏场景中的一些功能/性能问题并反馈给开发者,这将极大提升我们的开发效率。
四、前沿图形技术探索
一直以来CG Kit团队都在对前沿图形技术进行探索,比如,我们如何把AI的技术应用到图形渲染中,目前我们已在AI超分、自动3D人脸建模,AI协同动画生成等方面有所研究成果。
Vulkan渲染框架实践
Vulkan渲染框架实践,为开发者提供Vulkan渲染解决方案优化、渲染增强插件和渲染技术文档,比如,文档中会介绍一些API使用策略、资源缓存使用优化、Vulkan的兼容性问题等等。 前面提到Vulkan是比较新的API,它的Command Buffer机制可以天然支持多线程渲染。由于Vulkan比较灵活,CG Kit就会针对Vulkan的API做了简化封装,使用起来更便利。
其次, CG Kit也支持基于物理的渲染,PBR可以真实地反映物体表面光照的属性,通过PBR我们渲染出来的物体会更加的真实。
同时,CG Kit提供了资源管理器,可以将所用到的大量管线资源尽可能地进行复用,从而降低开销,提高渲染性能。
最后,CG Kit同样支持提供HDR10的显示能力,配合HDR屏幕的显示优化,最终出图会有更好的动态范围。
静态超分组件
下面介绍一下游戏拍照超分的插件,游戏是具有社交属性的,分享就是社交里非常重要的一个环节。在游戏过程中经常会遇到一些非常值得分享的精彩时刻,比如完成了一个里程碑的任务,获取了一个限量款精美的皮肤,或者已经完成了一个虚拟人物形象定制……在这些时刻,游戏玩家非常迫切地想把这些精彩的瞬间分享给自己的朋友,那就需要用到拍照的功能,但是如何让拍照的效果更好呢?
针对拍照效果,CG Kit提供了两种解决方案。
第一种解决方案就是针对具有独立NPU的高端手机,例如麒麟980、990和麒麟9000芯片对应的手机,这些具有独立高端NPU的手机可以直接调用AI超分接口,这样画面细节得以显著增加,画面风格更加清晰自然,从下面的对比图可以看出,处理后的图片人物面部细节明显有提升。
而针对那些没有独立NPU芯片的手机,我们也提供了一种通用的解决方案,叫作FilterSR,这是基于通用GPU的一种算法,应用这种算法后,没有NPU的手机也可以大幅提升画面效果,并且相较于传统的方法它的锯齿感和画面清晰度也有很大的提升。值得一提的是,《天谕》就集成了我们拍照超分的算法。
体积云组件