科技达人说|英伟达开源「Imaginaire」：九大图像及视频合成方法机器之心报道作者：蛋酱、小舟图像/视

机器之心报道
作者：蛋酱、小舟
图像/视频合成领域的集大成者，就在这一篇了。
图像和视频等视觉数据的生成是机器学习和计算机视觉领域重要的研究问题之一。近几年，英伟达提出了SPADE、MUNIT等多个图像及视频合成模型。
近日，英伟达又开源了一个新的PyTorch库「Imaginaire」，共包含9种英伟达开发的图像及视频合成方法。

文章图片
【科技达人说|英伟达开源「Imaginaire」：九大图像及视频合成方法】项目地址：https://github.com/NVlabs/imaginaire
这九种方法分别为：
有监督的图像到图像转换
1、pix2pixHD
2、SPADE/GauGAN
无监督的图像到图像转换
1、UNIT
2、MUNIT
3、FUNIT
4、COCO-FUNIT
视频到视频转换
1、vid2vid
2、fs-vid2vid
3、wc-vid2vid
pix2pixHD
「pix2pixHD」是pix2pix的升级版本，具备高分辨率图像和语义处理功能，主要解决了深度图像合成编辑中的质量及分辨率问题。

文章图片
?
项目主页：https://tcwang0509.github.io/pix2pixHD/

文章图片
?
论文链接：https://arxiv.org/pdf/1711.11585.pdf
在这篇论文中，来自英伟达和UC伯克利的研究者提出了一种使用条件GAN从语义标签图上合成高分辨率照片级逼真图像的方法。此前，条件GAN已经有了很广泛的应用，但生成结果均为低分辨率并与现实差异较大。因此，研究者使用了一种新的对抗损失、多尺度生成器和判别器架构来生成2048x1024的结果。此外，研究者为该框架扩展了两个附加功能。首先，合并了对象实例分割信息，实现了删除/添加对象和更改对象类别等操作；其次，提出了一种在相同输入下生成多种结果的方法，让使用者可以编辑对象外观。该论文被CVPR2018接收。
SPADE/GauGAN
在GTC2019上，英伟达展示了一款交互应用「GauGAN」。它可以轻松地将粗糙的涂鸦变成逼真的杰作，令人叹为观止，效果堪比真人摄影师作品。 GauGAN应用主要使用的技术，就是英伟达的SPADE 。

文章图片
项目主页：https://nvlabs.github.io/SPADE/

文章图片
论文地址：https://arxiv.org/pdf/1903.07291.pdf
在这篇论文中，来自UC伯克利、英伟达、MITCSALL的研究者提出了一种空间自适应归一化方法，在给定输入语义布局的情况下，实现了一种简单有效的逼真图像合成层。以前的方法直接将语义布局作为输入提供给深度网络，然后通过卷积、归一化和非线性层处理深度网络。实验表明，这种方法并不是最优的，因为归一化层倾向于「洗去」语义信息。为了解决这个问题，研究者提出使用输入布局，通过空间自适应的、学习的转换来调节归一化层中的激活函数。在几个具有挑战性的数据集上的实验表明，与现有方法相比，该方法在视觉保真度和与输入布局的对齐方面具有优势。最后，该模型允许用户控制合成图像的语义和风格。该论文被CVPR2019接收为Oral论文。
UNIT
项目地址：https://github.com/NVlabs/imaginaire/tree/master/projects/unit

文章图片