大家还记得去年我们报道过的韩国虚拟偶像SUA吗?她是由一位韩国创作者基于Unity开发的数字人类,当时我们发布介绍SUA这篇文章时还引起了不小的轰动()经过大半年的时间,我们发现SUA又变漂亮啦。

打开网易新闻 查看更多图片

虚拟偶像SUA 2020年初的版本

大半年来,经过作者金贤日(김형일音译)的精心打磨,SUA在颜值上又有了新的飞跃。近日,作者在Twitter上分享SUA的最新视频中,对人物的双眼皮又做了进一步调整,使其更符合东方人的审美,温柔优雅中又有一丝灵动可爱。作者自己都在Twitter中感叹,亚洲人的双眼皮好难做。但是最终调试出来的效果比之前的版本又真实细腻了不少,要是现实生活中有如此高颜值的小姐姐,是不是可以原地出道了。

调整双眼皮效果后的SUA

打开网易新闻 查看更多图片

用iPhone 12 mini跟踪的效果十分流畅

不久前,Unity韩国团队就采访了作者金贤日,快来听他介绍一下SUA项目的最新进展吧。

不仅要真实,还要成为偶像

说起虚拟偶像,大家一定并不陌生。不仅“颜值不倒”,还能做到“人设不塌”,这两点让虚拟偶像收割了越来越多的粉丝。而且,在社交隔离成为新常态的今天,虚拟偶像技术的出现和精进为广电、娱乐、电商零售等行业带来了更多意义。很多公司都在探索实时3D数字人类的虚拟偶像,与卡通形象相比,她们不但更接近真实人类,拥有生动的表情,还能与观众实时互动,更具有成为偶像的潜力。

宜家在日本东京开设了一家商店,让虚拟偶像“IMMA”为大家演示如何使用宜家家具,她在Instagram上有超过33万个粉丝。

这让金贤日看到了方向,他创立的SUA项目正是以打造真实人类形象的虚拟偶像为目标。金贤日原本是一名游戏行业的3D角色美术师,拥有10多年的从业经验,经历了各种项目之后,认为是时候去实现自己真正想要表达的东西了。他说:“我想用实时渲染方式创建一个活生生的人,让它给人感觉是虚拟空间走出的真人,也想挑战自己可以做到什么程度。”

SUA一经推出就受到业内的广泛关注,金贤日在Twitter上发的视频,连著名的科幻作家威廉·吉布森(William Gibson)都转推了。历时一年多,SUA在颜值上已经无懈可击,金贤日正在“培养”SUA的各种才艺技能,让她“出道”后可以应对各种各样的场景任务,如模特、演员、歌手等。

打开网易新闻 查看更多图片

OnMind首席执行官金贤日

“SUA现在就像即将出道的新人,为了像艺人一样受到公众的喜爱,我们还有许多工作需要完成。”金贤日说到。

SUA有何特殊之处?

SUA之所以吸引了全世界的关注,因为它是实时渲染的数字人类,全身都基于实时渲染实现。实时渲染的渲染速度交互性,让SUA可以与观众实时互动,这也让她更受大家喜爱。

在通常的电影动画渲染中,使用的都是离线渲染而不是实时渲染,这种技术需要内容创建者投入大量的计算和时间才能生成高质量的图形。以单帧的高质量画面为例,剪裁需要数小时、计算机渲染需要数十小时,制作1小时的视频至少需要数百小时甚至更长时间才能完成。

基于实时渲染,SUA不仅可以创建与用户实时交互的4K内容,还十分高效,速度至少是每秒30帧,这才让SUA与观众互动成为可能。

“SUA与迄今为止发布的数字人不同在于,她是可以与观众实时互动的数字人类。我注意到很多公司也在积极地向着这个方向开发,总有一天,将会出现很多‘SUA’。”金贤日说到。

SUA项目与Unity

SUA 360度无死角的盛世美颜,正是基于Unity HDRP渲染而成的。

HDRP是基于Unity的可编程渲染管线(SRP)构建的,具有完全统一的基于物理的渲染以获得超高的画质表现, HDRP的设计遵循以下这三个原则:

渲染基于真实物理。

光照统一、连贯。

功能独立于渲染路径。

Unity去年推出的短片《异教徒》就使用了这项技术(),金贤日表示,当时他也是看到了这个作品以及其他HDRP Demo之后,才决定用这项技术来创作SUA。

金贤日表示,HDRP的强大性能让SUA得以“逃离”恐怖谷,以更接近真人的状态呈现在大众面前。SUA的皮肤渲染使用的是HDRP的StackLit,同时使用8K Albedo贴图作为额外的细节纹理,来表达皮肤的细节。头发Shader使用的是Unity Shader Graph的Hair Shader

“我们在演讲中演示的时候,测试了光照探针(Light Probe)和反射探针(Reflection Probe)对角色的反应,HDRP性能比我想象的要好,让SUA真的做到了以假乱真。”

使用HDRP实时渲染的SUA,需要使用面部捕捉、运动捕捉、手指捕捉和虚拟相机等技术。金贤日是用iPhone进行动作捕捉和眼球追踪,iPhone的性能足以用于实时捕获,从移动整个身体到移动手指,结果都符合预期。

打开网易新闻 查看更多图片

SUA可以通过实时面部捕捉来展现各种表情

目前的动作捕捉仍然有提升空间,金贤日的团队正在尝试使用手指捕捉设备来表达精确的手部动作,并且试图通过引入虚拟相机进行拍摄,带给观众类似VR的视觉体验。

“真人版”虚拟偶像时代,何时到来?

OnMind预测,在不久的将来,人工智能技术和数字人类技术将携手共进。金贤日表示很期待人工智能更自然地执行语音识别、语音合成、图像识别、手势识别和对话模型(聊天机器人)等功能,从而提高当前应用服务的准确性和满意度,并且为人工智能商业化开辟新的范式。

“为了使数字人类真正成为虚拟偶像,我们所用的技术必须与时俱进。当下时代正在加速向着数字化发展,一些著名的娱乐机构也开始考虑引入虚拟偶像组合,我相信‘时代’已经准备好迎接第一批数字名人了,我们接下来要让技术跟上,加速虚拟偶像的实现。”

如果大家对这个项目感兴趣,欢迎关注作者的Twitter:Hyeong-il Kim,所有进展都会在Twitter上更新。

数字人类这项技术已经越来越受到市场的关注,或许在不久的将来,中国版的SUA也会出现,让我们一起期待一下吧。