格子间里的人工智能工程师,他们是在为虚拟形象捏脸,同时也在塑造着元宇宙的世界。
文|文斌
江苏卫视跨年演唱会上,周深与邓丽君一曲跨越时空的合唱让人久久不能自已。但当人们从歌曲的旋律中回过头来,大家更感兴趣的,或许是邓丽君这样虚拟形象应当如何构建。
毕竟,元宇宙已经来了,而在这个颜值即正义的时代,我们真实的长相没得选择,元宇宙的长相却可以定制。
有需求就会有市场,让人在虚拟世界“长”出一张好看的脸这件事自然也早就有人在做。
年年初,EpicGame公司旗下的虚幻引擎平台发布了一款新的工具MetaHumanCreator,宣称能够让任何人在几分钟里创造一个配备完整骨骼、毛发和服装的数字人形象。
在韩国,有人已经通过MetaHumanCreator制造的虚拟形象在游戏直播平台上成为网红,年入千万。在国内,类似的AI捏脸技术其实也早已在《逆水寒》《天谕》《永劫无间》等诸多游戏中落地。
然而,作为AI捏脸技术的构建者,AI捏脸师的幕后故事却不太被人们所知。
但最近,随着元宇宙概念的风起,在虚拟世界里塑造一个更真实的人物形象成为建设元宇宙的基础技术之一,像晚丰一样长期从事AI捏脸技术研究的工程师们也开始被推到了前台。
所以这一次,商业数据派也访谈了网易伏羲的几位AI“捏脸师”,看看在他们眼中,一个新兴的职业从幕后到台前,究竟经历了怎样的故事?而面对已经乘风而起的元宇宙,他们又期望技术给世界带来怎样的改变?
颜值即正义的虚拟世界,捏脸是第一步颜值即正义,进入元宇宙的第一步就是创建一个虚拟形象。
经常玩游戏的朋友都会知道,为了增强体验,现在很多游戏都会设置一个环节,让玩家可以为自己的角色亲手塑造一个形象。
年,韩国游戏厂商NCSoft推出的一款主打东方武侠和捏脸系统的游戏《剑灵》在国内爆火。从此之后,捏脸系统就逐渐成为了绝大多数MMORPG类游戏中不可或缺的一部分。年,网易推出一款大型端游《逆水寒》,其中就包含了捏脸系统。
(图:游戏《剑灵》中的捏脸效果)
“当时的捏脸系统很复杂,几十上百个滑块,调整各种参数,普通玩家要好几天才能捏出一个自己的形象。”AI捏脸师,网易伏羲视觉技术负责人神秀说道:“这个流程太复杂,我们希望开发一个AI算法,让每一个用户都能用一张照片在游戏中快速创建让自己满意的形象。”
“我们最初的构想是,希望AI能够模仿真实人类在捏脸时的反馈,比如我先捏一个初稿,然后和用户上传的图像对比,看看哪里不像,比如说眼睛、嘴巴,然后再针对性地去调整。然后再对比,再调整,如此反复,最终让两者无限的接近一致。”
说起来容易,但做起来却并不简单。
“刚拿到这个课题的时候是最难的。”神秀告诉商业数据派:“因为整个业界在之前都没有人做过这个事,没有先例可以借鉴。”
首先就是如何捏脸的问题,当时伏羲内部其实也从不同角度讨论了许多方法,但最终只有两种是比较成熟可行的。
一种是从骨骼捏脸的角度去做尝试,这种方式比较成熟,也比较适合现有的一套产业化流程,所以在游戏中落地也比较容易。但它的缺点就是没有那么像。
另一种方案就是从人脸重建的角度去尝试,这套方案可以完全重建人脸的三维贴图,甚至人脸皮肤的每一个褶皱。但它的缺点就是计算的耗时会比较长,然后同步也会比较困难,这也让它不太适合游戏的场景。
(图:网易伏羲捏脸的技术原理)
确定了如何捏脸,第二个问题就是如何落地。网易伏羲技术负责人木白告诉我们,捏脸这项技术,早期主要就是服务雷火游戏,所以直接的问题就是如何与游戏系统相结合。
按照最初的设计,捏脸系统采用深度学习算法编写。但要与游戏相结合,就需要把游戏的渲染系统引入到深度学习算法里面去调优。而问题是,游戏的渲染系统没有办法读懂AI的数学参数。
面对这些问题,再三衡量之后,伏羲最终决定在基于神经网络算法的基础上再开发一套游戏渲染系统,从而将整个pipeline(综合解决方案)打通。
在一系列研发的问题解决之后,本以为之后的工作会轻松一些,但另一个新的问题又出现了,而且这个问题还是一直埋头开发的程序员们之前一直没想到的。
“使用这套系统,需要玩家上传一张照片的,所以在游戏中我们会提示玩家上传一张正脸照片。”神秀告诉我们:“在我们的预想中,玩家提供的照片是正脸、角度正常、然后光照是均匀的、手也不要抖。”
“但大多数玩家不会听你的,即使你的提示写的很诚恳,他们也是随便一拍完事。这样自动捏脸的效果肯定就不会好,所以许多玩家就会说,这个系统真垃圾。”
“我们肯定也会感到很委屈,但也很快认识到自己的错误。”神秀回顾道:“我们一开始预设的是一个理想的实验室环境,真实的线上环境肯定不是这样的,它会面临许多干扰,比如拍摄时的光照,不同设备的拍摄条件,是否手抖等等。”
“另一个错误则是,我们一开始设想的是让玩家来配合技术,而不是技术去适应玩家,所以没考虑到之前那些问题。”
根据这些情况,网易伏羲团队依靠提高算法的鲁棒性,让随手拍的照片都能被识别。除此之外,还对算法做了进一步的加速,减少了玩家的等待时间,也会适当地对虚拟形象做一些美化。
在与玩家不断的“碰撞”下,捏脸系统也逐渐得到完善。
技术男学化妆虽然AI捏脸的开发过程并不容易,但事实上,有些难题反而会让这个过程变得更加有趣。
“你肯定很难想象我们一堆做技术的直男,会去看美妆视频,研究口红色号。”神秀笑谈道。
事情起因,神秀和同事们在做捏脸算法的时候,发现许多女玩家会倾向于把自己好看的照片,比如美颜或者妆后的照片拿上来,这和男玩家有很大不同,男玩家可能就是随便拍一下。
“在我们最初的认知里,女生化妆就等于涂口红嘛。所以就想加一个口红,相当于给女玩家的捏脸加上了妆容。”神秀回忆道:“我们几个男生也讨论过,比如说口红有几种颜色,但是我们没有人知道,所以最后就随便拍板定了三种颜色认为应该足够了。”
“后来这件事情被产品经理发现了,我们就被喷了。”神秀有些不好意思:“我们产品是个女生,她告诉我们口红有多少种色号。而不止我们之前定的红色、橘色、大粉红色。”
这件事情之所以会被如此在意,是因为按照算法,为了让捏脸的效果更自然、精准,带有妆容的照片一般都需要先进行检测和还原,捏完脸之后再匹配一些系统的妆容。
因此,要让系统自动实现这个过程,工程师在编写算法的时候自然也需要对女生妆容的效果有一些基本的了解,比如高光、阴影、眉毛的造型、腮红的款式、雾面感、乱神感等等。
“事情闹出了笑话,所以我们后面就真的去B站、各种短视频上学习化妆。”神秀说道:“看了之后才知道,原来化妆还有这么多步骤,什么眼影、腮红、遮瑕、阴影等等,我们从中也了解到许多神奇的知识。”
“我会在B站上看一些仿妆,像之前很火的范冰冰仿妆。”同为捏脸师的晚丰说道:“算不上系统的学习,就是会