腾讯|虚拟数字人,活得并不容易( 二 )


技术先行一步?
虚拟数字人的制作是一个相对复杂的流程 。 以新华社联合腾讯互娱旗下NExT Studios推出的虚拟数字航天员小诤为例 , NExT技术团队介绍了超写实数字人的制作流程 。
扫描:采用Photogrammetry扫描系统对特定演员进行全方位扫描 , 包括脸部模型、身体、衣服等 , 随后生成点云模型 。
建模:针对身体和脸部特征 , 将点云模型转成低模 , 便于后续绑定制作 。 同时手工制作扫描出错或扫描不到的地方 , 如口腔内部、眼睛、牙齿、头发 。
绑定:基于FACS(面部表情编码系统)、MotionBuilder(3D角色动画软件)和Maya(三维建模、动画软件) , 完成人脸、身体绑定 , 生成仿真的虚拟形象 。
动画:采用面部、身体动作捕捉方案 , 结合后期人工动画精修 , 实现虚拟形象的动态展示 。
渲染:通过虚幻引擎 , 完成角色渲染和动画输出 , 所见即所得 。
而虚拟数字人的制作 , 同其它工业化制程一样 , 不仅包括产品的迭代 , 也伴随生产工具的革新 。 例如 , 通过开发基于FACS的表情模型(Blendshape)制作工具 , 大幅提升表情模型数量 , 解决虚拟形象面部表情僵硬的问题;通过自动化算法 , 解决虚拟角色和真实演员身体比例不一样导致的角色穿模问题 。
自2017年以来 , NExT Studios团队逐渐摸索出两条超写实虚拟人制作管线 , 分别取名为xFaceBuilder?和xMoCap? , 对应虚拟数字人的面部和身体制作 , 除了数字人领域 , 二者也应用于腾讯的PC游戏和手游项目 。
虚拟数字航天员小诤/图片:新华社
目前 , 多数大型科技公司都有技术团队试水虚拟数字人孵化 。 而对有实际需求 , 仅缺少技术储备的应用方而言 , 百度智能云曦灵数字人平台提供了相对简单的一站式接入方案 。
百度智能云AI人机交互实验室负责人李士岩介绍 , 曦灵平台可以满足数字人的低成本快速定制 , 同时提供人设、业务、内容方面的运营支持 。 其中3D卡通数字人可以通过人脸识别、照片建模分钟级生成 , 2D平面数字人可以通过上传真人视频小时级生成 。 而3D高清数字人方面 , 非特异型数字人(没有现实或虚拟的具体参照形象)支持分钟级生成 , 同时支持AI驱动;特异型数字人(有具体的参照形象要求)成本最高 , 需要10到30天 。
需要注意 , 快速低成本生成的数字人与虚拟员工等服务性需求契合度较好 , 训练完成基本可以无缝接入当前应用场景 。 但对于虚拟偶像等表演型需求 , 生成虚拟形象只是第一步 , 更精细的打磨和长期的运营支持必不可少 。
央视AI手语主播/图片:央视新闻
和虎嗅有过交流的多个虚拟数字人团队 , 都认为数字人的工业化生产即将到来 。 可以说 , 当前虚拟数字人技术正在快速发展和迭代 , 至少在外观上已经无限接近所想即所得 , 以至个别超写实数字人正是因为在审美层面过于完美 , 而被识别为假 。
但与此同时 , 当下数字人在交互上的瓶颈显而易见 , 现有AI技术还不足以支持数字人养成独立行为 , 独立思想则更远 。 只是在潮流概念和技术驱动下 , 数字人的发展先于需求一步 , 然而也正是因为技术的瓶颈 , 数字人尚未打通自身的生存路径 。 反映到当下 , 每一个数字人要想成为长久存在的“人” , 更多还是靠幕后运营团队去支撑 。
运营后继乏力
暂时不考虑身份型虚拟数字人的应用 , 目前表演型虚拟数字人主要以To C为主 , 而实用型数字人主要以To B和To G应用为主 。 保持活跃、保有关注 , 是悬在每一个虚拟数字人头顶的达摩克利斯之剑 。
目前虚拟数字人的曝光方式主要有以下几种途径:发布离线视频、图片(如柳夜熙 , AYAYI等超写实数字人);才艺直播、舞台演出(如A-SOUL , 洛天依等二次元虚拟偶像);参与大型活动、特殊场景报道(如央视网小C、新华社小诤等媒体虚拟员工) 。 上述数字人IP面临的挑战 , 也是整个行业必须直面的问题 。
其一是成本 。 去年10月31日 , 柳夜熙凭借“捉妖”题材短视频爆红 , 一夜涨粉363万 , 影响力在中国传媒大学发布的《中国虚拟数字人影响力指数报告》中名列首位 。 但至今5个月以来 , 柳夜熙抖音官方账号总计发布视频数量为11条 , 更新频率每月2次 , 粉丝留言中“催更”频繁出现 。
而在《影响力指数报告》中排名第五的AYAYI一直活跃在平面媒介 , 通过晒硬照保持较高的曝光频次 。 但翻看其小红书动态即可发现 , 高频次的晒照并没有持续推升人气和互动量 , 反而从最初的峰值有所回落 , 动态下方的评论区也时不时收到“新片质量不如早期照片精致”的反馈 。