容嬷嬷|华人打造二次元老婆生成器！尔康容嬷嬷成萌妹，图像视频都能变容嬷嬷|尔康

杨净发自凹非寺量子位报道 | 公众号 QbitAI
当你的女朋友变身二次元，是什么样子？
小声说：没有女朋友。
搞错了，再来！
你下一个二次元老婆，可能是真人生成的！
即便是容嬷嬷本嬷，也能瞬间变温婉~

文章插图
还有辣个清秀的尔康，也瞬间变身短发萌妹。

文章插图
只需一张照片、甚至视频就可以生成二次元老婆。

文章插图
不管是萝莉风、御姐风、甚至女王风，统统都可以！

文章插图
对此有网友评论道：我的生活完整了。

文章插图
如何实现？这样一个生成器，叫做GANs N’ Roses，以下就简称GNR。
嗯？跟Guns N’ Roses（枪炮玫瑰）有什么关系。
按照论文标题所言，要比以往的图像转换技术更稳健、更可控，以及更多样。

文章插图
GNR，由一个编码器和解码器组成。编码器将图像分解为内容代码c和风格代码s，解码器接收一个内容码和一个样式码，产生相应的图像。

文章插图
运行时，把图像传给编码器，保留产生的内容代码，获得一些其他相关的风格代码，然后把这对代码传给解码器。那具体什么才是内容、以及风格？GNR的关键思路，是将内容定义为事物的位置，风格定义为为它们的样子。
【 容嬷嬷|华人打造二次元老婆生成器！尔康容嬷嬷成萌妹，图像视频都能变】就像这样。即使是同一种风格，也有不同的演绎。

文章插图
对于一个特定的风格码，包括眼睛、下巴、鼻子、头发颜色等细节，都有很强的一致性。但就像头部倾斜度、脸部形状、发型等细节，则是由内容码控制的。
损失函数总共有三类：风格一致性损失、循环一致性损失、多样性判别器和对抗损失。
与其他SOTA框架对比，GNR在多样性、图像质量等多个指标上都有明显的改进。

文章插图
直接放图来比较，则更为明显。

文章插图
最后，研究人员发现，在没有额外训练的情况下，GNR对于视频之间的转换也同样适合。

文章插图
目前，GNR已经在GitHub开源，并上线了Demo试玩链接。我试了试，似乎目前只有一种风格。

文章插图
但依然挡不住网友直呼：So cool！

文章插图
团队成员团队成员均来自美国伊利诺伊大学厄巴纳-香槟分校。
一作华人Min Jin Chong，本科从美国伊利诺伊大学毕业后，继续留校读博，此前曾在字节实习3个月。
另一位作者、他的导师David Forsyth是知名CV大牛，曾与Jean Ponce 合著的《Computer Vision：A Modern Approach》，堪称计算机视觉经典教材。

文章插图
好了，感兴趣的旁友，可戳下方链接哦~试玩链接： https://gradio.app/g/AK391/GANsNRoses