初音未来|柳夜熙又更新了，虚拟人的底层技术是什么？( 二 ) 机器学习|人工智能|创业邦|客

行动演员的动捕服里包含多个传感器节点，用于采集运动动作，手套里也会有十多个节点，用于采集手部关节动作。高精度的动态捕捉，一方面依靠背后中之人的表演技巧，另一方面要求技术能够将中之人的表演有效捕捉。柳夜熙的连贯动作也和背后演员分不开。

文章插图

比如，为《泰坦尼克号》《头号玩家》等提供过特效支持的公司--数字王国打造的教育路线的高仿真虚拟人“小艾”就是高精度动捕的作品。
“小艾”的制作以Momentum为核心技术，面部表情上运用了超高精度的眼球追踪，甚至可以捕捉到演员的眼球震颤；在头发处理上，能根据演员不同动作幅度，进行重力计算，同步摆动，逼近真实效果。

文章插图

最后的渲染是所有动画设计不能绕过的重要一环，最终成品到底几分逼真，都靠这个过程的修饰，也是众所周知的耗时。
2019的科幻冒险电影《阿丽塔：战斗天使》，由《阿凡达》《泰坦尼克号》的导演卡梅隆操刀，讲述26世纪一个拥有机械手臂少女的战斗故事。为了效果逼真，后期渲染4.32亿小时，一度成为当时的热点新闻。
三万台电脑，800名技术人员同时工作，因为电脑高负荷运转发烫，甚至低温时能看见工作室有热气往外冒。
越是要求逼真，渲染过程要求越高。
仅仅完成一个128秒柳夜熙就需要涉及到这些复杂的技术。从本质上讲，她是一个出色的后期特效作品，就像视频下有一个7.7万赞的热评“不买票就能看电影了”。
不可否认的是，柳夜熙暂时不能和观众互动，属于剧中角色，类似于游戏中的NPC。而另外一种能够和观众互动，能实时反馈的虚拟人也在研究之中。
能独立思考的“真人”
齐耳超短发，碎刘海，高鼻梁，若隐若现的几点雀斑，一张大气的“国际脸”加上177的身高，模特形象呼之欲出。
她就是博采传媒设计的超写实虚拟人--20岁的马当飒飒，英文名Madam-ZAZA。当你和她四目相对，你可能会觉得这位20岁的女孩就是真实的。
更惊喜的是，这是一个能够独立思考的虚拟人。比如可以和现场观众实时笔心，给受众带来全新的沉浸式互动体验。

文章插图

马当飒飒正如电影《Her》中的萨曼莎，都是带有自我意识的虚拟角色，能与人类产生情感交互。飒飒背后由AI驱动，所以自带灵魂，而柳夜熙背后由“中之人”驱动，没有“中之人”的时候，只是一个静止的躯壳，这就是两者的区别。
要让虚拟人能够像真人一样兼具IQ和EQ，进行有逻辑、有个性的交互和反馈，目前的技术还在探索中。
为了给飒飒“长脑子”，博采传媒采用的是自主研发的超写实引擎与实时互动算法，由于技术的限制，她的“栩栩如生”也才展现一个小角，进一步的互动也在开发中。
除了背后驱动，两类人物在效果实现上也有区别。柳夜熙这类制作完成再发表的虚拟人，用的都是离线渲染技术，能够为了追求高精度不计时间成本，多用在电影的后期特效上。
若要像马当飒飒一样实时互动，也需要实时渲染，大量数据表明，延时控制在100ms以内，观众才能感受到声画同步。一般这种技术多用在游戏上，对设备要求高。
相对游戏，超仿真虚拟人对应的身体动画、表情动画、毛发模拟、布料解算、灯光反射模拟等一系列计算渲染需要更加强大的算力支持。技术尚在发展中，暂未有理想的角色面世，多停留在设想阶段。
如三星旗下Star Labs实验室在2020年CES上带来了此类智能“虚拟人”项目设想—Neon。
在STAR Labs的设定中，Neon外形酷似人类，主要出现在各类职场中。同时利用AI，在和人类的沟通交流中不断学习，持续完善角色的智能性。

文章插图

清华大学的虚拟学生“华智冰”也是类似的例子。
据澎湃新闻，华智冰不仅会四种舞姿，可以根据音乐的急缓调整动作，还可以根据某个字作诗，并可以根据某几个关键词创作一幅画，甚至可以写一些短文章。
研究团队目前对“华智冰”的学习规划和Neon类似，都是先进行大量数据包的输入录入基础信息，然后通过AI进行自主学习，能自己生存。
虽然，“华智冰”陷入一系列“AI换脸”的舆论风波，但这种设计初衷是很好的。