「埃尔法哥哥」ICCV2019:DeepFill一个用于生成图像修复任务的开源框架作者

作者

文章图片
介绍
作者提出了一种生成式图像修复系统，该系统基于从数百万个图像中学习的门控卷积，无需额外的标记工作。作者所提出的卷积解决了将所有输入像素都视为有效像素的香草卷积问题，通过为所有通道在所有层上的每个空间位置提供可学习的动态特征选择机制来概括部分卷积。
此外，由于自由形式的蒙版可能会出现在任何形状的图像中，因此为单个矩形蒙版设计的全局和局部GAN均不适用。因此，我们还通过应用频谱归一化提出了基于补丁的GAN损失，称为SN-PatchGAN鉴别密集图像斑块。 SN-PatchGAN的配方简单，训练快速，稳定。自动图像修复和用户指导的扩展的结果表明，与以前的方法相比，我们的系统可产生更高质量和更灵活的结果。我们的系统可帮助用户迅速移除分散注意力的物体，修改图像布局，清除水印并编辑脸部。
下图显示处理：

文章图片
作者在项目中提供了一个交互式演示，我们可以自由地遮盖图像的某些部分，然后检查其生成效果。 DeepfillV2提供了两个模型，这些模型在两个数据集上进行了预训练：places2和celebahq 。从效果的角度来看，至少对于这两个数据集，它在场景和面部图像中做得非常好，尤其是在人脸补全效果突出。

文章图片
第一行是真实图像，第二行是删除细节的图像，第三行是DeepFillv2修复的图像
作者指出，该项目只有三个依赖项，即Python3、TensorFlow和他制作的TF工具包neuralgym 。作者在TF1.3、1.4、1.5、1.6、1.7上进行了测试，并将各种模型超参数放入YML文件中，以便于调整。

文章图片
带有门控卷积和SN-PatchGAN的框架概述，用于自由形式的图像修复。
我们来看下作者针对不同方法的比较，包括PatchMatch ， Global＆Local ， ContextAttention ， PartialConv和我们的方法。图片修复的比较基于四个维度：Semantics ， Non-Local ， Free-Form和User-guided选项如下图所示：

文章图片
均值误差比较

文章图片
相关修复图片

文章图片

文章图片
结论
【「埃尔法哥哥」ICCV2019:DeepFill一个用于生成图像修复任务的开源框架】作者提出了一种基于端到端生成网络的新型自由形式图像修复系统，该网络具有门控卷积，并经过逐像素1损失和SN-PatchGAN训练。而且证明了门控卷积显着改善了免费的修复效果形式的掩码和用户指导输入。我们以用户素描为例，以帮助用户快速移除分散注意力的对象，修改图像布局，清除水印等。