品品科技|2020 | 基于对抗一致性，非匹配图像转换效果真假难辨，ECCV 本文介绍的是ECCV2020论文《UnpairedIm

文章图片
本文介绍的是ECCV2020论文《UnpairedImage-to-ImageTranslationusingAdversarialConsistencyLoss》，论文作者来自北大。本论文解读首发于知乎（https://zhuanlan.zhihu.com/p/156092551）。
作者|HyperplanePKU
编辑|丛末

文章图片
论文地址：https://arxiv.org/abs/2003.04858
1
问题引入
在图像处理、图形学和计算机视觉中有大量问题是将一个图片域的图片转换到另一个图片域，比如前一阵刷屏朋友圈的换脸应用。这种问题可以统称为图像到图像转换（image-to-imagetranslation）[1] 。目前基于深度学习，特别是生成对抗网络（generativeadversarialnetworks,GANs）[2]的方法在图像到图像转换中取得了很大的进步。
然而，目前的主流方法有若干局限性，导致不能支持很多应用。其中最大的一个局限性是目前的主流方法基于循环一致性损失（cycleconsistencyloss ，以下简称cycleloss）[2] 。 Cycleloss缺陷的主要原因在于其要求转换回来的图片要和原图完全一致（图2右侧

文章图片
，

文章图片
），而这对于很多任务是不现实的。比如单纯看到图1的期望结果，让我们去画一个眼镜，显然有无数种情况，对于生成器也是如此。再比如性别转换时胡须、头发的变化等等，这类问题都具有不可逆的特性。当cycleloss尝试解决这类问题时，就必须“作弊”在图片中留下痕迹或减小变化，也就导致了结果的不真实（图1CycleGAN）。

文章图片
图1.眼镜去除的例子
今天介绍一篇ECCV2020上最新的工作ACL-GAN ，提出从数据分布角度约束不可逆图像转换过程，主要解决了以下问题：
规避了cycleloss的缺点；
转换后图像与原图具有相关性；
对于同一张输入，可以输出合理高质量的多模态输出；
利用较少的网络参数，降低了训练和使用成本。
该方法生成的图片令人难辨真假，而且在量化评价上，也超过现有方法，成为state-of-the-art 。
2
方法简介

文章图片
图2.ACLloss（左）和cycleloss（右）的对比
ACL-GAN为了规避生成器“作弊”留下眼镜痕迹，并不限制点到点的相同，而是将各种眼镜统统纳入怀中。为了允许不同细节的图片都被认为和原图相同，该方法将原图

文章图片
、转换的图片

文章图片
、还原图片

文章图片
都扩充成分布（如图3中的眼镜款式具有多样性），利用判别器拉近原图邻域和还原图片分布的距离。本文利用一致性判别器促使生成器拉近上述分布。为了保证图片与原图具有相关性，该方法同时将原图输入给一致性判别器，作为其判断的依据。这样，生成器就可以大胆的把眼镜完全去掉，从而得到更高质量的转换结果。