高精度|柳夜熙又更新了,虚拟人的底层技术是什么?


高精度|柳夜熙又更新了,虚拟人的底层技术是什么?
文章插图

编者按:本文来自盒饭财经(ID:daxiongfan),作者:玉谷子,创业邦经授权发布。
3条视频,增粉776万,获赞超千万。
12月12日,被上千万网友催更的“美妆博主”柳夜熙,在抖音更新了一条视频。
一条狭窄幽暗的街道,柳夜熙手撑一把油脂伞,走进一家店铺。电视机中出现一则8岁小女孩的“寻人启事”。
“怎么最近都是你在店里,你姐去哪了?”柳夜熙问。
“我姐啊……她出去了。”阿一犹豫片刻后,回答道。
画面一转,阿一姐姐出现,在看到柳夜熙后她转身跑进一个充满电子设备的昏暗厂房,这里杂线铺满地面,无数个电脑屏幕上闪动着正在传输数据的大脑图形,8岁的小女孩正躺在床上,头上戴着仪器。
“你连孩子都不放过”,柳夜熙拿出手中的魔法笔,准备动手,阿一阻止,随后柳夜熙为他画上了看不见的眼影,姐姐现出原形,柳夜熙“收妖”成功,姐姐和她的女儿得救。
“柳夜熙,这……只是个开始。”剧情结束。
尽管只有4分钟,但叙事流畅,画面感真实,充满了赛博朋克的味道和电影质感。
评论区,有人称赞“我竟然在抖音!看电影!!!” “白嫖这么高级制作有点不好意思”,还有人评论“元宇宙今天又涨了”。
值得注意的是,视频的下面,除了时下最火热的“元宇宙”,还打上了“脑机接口”的标签。
高精度|柳夜熙又更新了,虚拟人的底层技术是什么?】截至目前,有关“柳夜熙” “柳夜熙是谁” “终于等到柳夜熙更新” “柳夜熙特效”等相关话题在抖音上已有超过7.6亿次播放,都在挖掘和创作这个被抖音称为“中国第一个元宇宙博主”虚拟偶像背后的故事。
一夜之间,蹭上元宇宙快车的虚拟偶像,再次翻红了。
事实上,虚拟偶像并不是全新概念。从洛天依带货直播,到爱奇艺打造虚拟人物才艺竞演节目《跨次元新星》……虚拟人物的出现,不仅为“Z世代”带来新鲜的互动体验,也给艺术家的创作过程注入新灵感。
但也有观点认为,柳夜熙在技术上并没有任何突破,之所以一夜爆红,是迎合了市场对于元宇宙概念的狂热情绪,属于新瓶装旧酒。
柳叶熙带来的讨论,和对元宇宙的认知延展。不少观点已经从运营角度讲清楚了,本文则试着从技术角度,还原柳叶熙的技术背景。
读完本文,你将了解:
1.她是如何被创造出来的
2.柳夜熙背后的虚拟人技术演进
3.虚拟人成型之后,如何进入元宇宙
01虚拟人的“台下十年功”
虚拟人起源于日本动漫的角色发展,最早的虚拟偶像鼻祖要算2007年出现的“初音未来”。作为一个以语音合成引擎为基础设计的音源库,初音未来能唱无数首歌曲,和ladygaga同过台。
虚拟人中,二次元形象居多。如登上21年春晚的“洛天依”, B站网红“yoyo鹿鸣”,抖音爆红的“小狐狸NINICO”,屈臣氏代言人“屈臣曦”,都属于这一类,并且借助次元流量,都已成为热门IP,通过代言、商演、直播等成功变现。

高精度|柳夜熙又更新了,虚拟人的底层技术是什么?
文章插图

2019年,哔哩哔哩甚至专门为二次元虚拟偶像举办了一场名为Bilibili Macro的线上演唱会。初音未来、洛天依以及作为虚拟主播的Kizuna AI、白上吹雪等在演唱会的舞台上出现,瞬间引起轰动。
由于技术限制,超仿真虚拟人目前角色不多,大多以静态图片或者几秒短视频的形式出道。柳夜熙也仅仅128秒。
如走时尚路线的虚拟人物“翎”,外貌东方,身材出众,热爱国风,善京剧。这类有个性的虚拟KOL,一方面具有新事物的流量热度,一方面容易吸引大量次时代消费者关注,且不会有真实偶像的塌台风险,成为广告商的新宠。2020年5月出道,目前已签下多家大牌合作。
柳夜熙是开创性的角色,她实现了仿真虚拟人在短视频上的首次尝试。按照主办方的说法,这是一个2.5次元的形象设计,处于二次元动漫形象和三次元的真实世界人物形象之间的位置。
这类“超仿真”形象的后期开发过程非常漫长——1.高精度原画设计;2.高写实3D建模;3.导入高水准的虚拟人引擎;4.高精度动捕;5.高精致的修帧渲染。每个步骤都耗时耗力,不懂行的人很难做好。
首先是3D建模,要做到高写实,除了皮肤,毛发的细节精细还原之外,难点在于如何做到表情自然,说话口型不失真。相较于原理相似的语音合成技术,将声音、口型、表情匹配适宜要难得多,很容易造成“僵硬木讷”的观感。