PaperWeekly 大幅提高CIFAR-10数据生成，?NVIDIA针对数据不充分数据集进行生成改进 ?PaperWeekly原创·作者

?PaperWeekly原创·作者｜武广
学校｜合肥工业大学硕士生
研究方向｜图像生成
生成对抗网络因其优异的生成质量而得到广泛的关注，然而想要得到高质量的生成结果往往需要大批量的训练数据进行加持才能训练出逼真的生成结果，这点在各大主流优秀的生成对抗网络模型下得到验证。一旦训练数据不足的情况下能否得到优秀的结果，能否让判别器不去过度拟合训练样本呢？
这个问题由来自NVIDIA的研究者付诸行动并给出了一定的解决方案，本文将共同来阅读论文TrainingGenerativeAdversarialNetworkswithLimitedData 。
论文引入
庞大的数据集在背后推动着生成模型的发展，然而为特定应用收集足够大的图像集是存在挑战的，这要求数据要对主题类型，图像质量，地理位置，时间段，隐私，版权状态等施加限制，就比如CelebA数据集，在人脸位置、质量和图像的大小都存在着严格的要求，这个要求一旦施加在上十万张图像数据集下就是很庞大的工作量。
而GAN训练的样本量往往是在量级，这对于医学图像和小样本的数据训练是困难的，往往导致的是判别器过度拟合训练数据，此时判别器对生成器的反馈就会变得毫无意义，并且导致训练出现分歧。文章中做了在不同量级下数据集对生成质量的影响，结果如图1所示。

文章图片
▲图1.不同量级下数据集对生成质量的影响
图1a显示了FFHQ不同子集的基线结果，在每种情况下，训练都以相同的方式开始，但是随着训练的进行， FID开始上升。训练数据越少，越早发生。图1b ， c显示了训练过程中真实图像和生成图像的判别器输出分布。
分布最初是重叠的，但随着判别器变得越来越有把握，它们会保持漂移， FID开始恶化的点与分布之间失去足够的重叠是一致的。由图1c可以看到，当判别器过分拟合训练数据时，即使是真实图像的验证集也会判别和生成数据分布一致，这就是判别器过度拟合到了训练数据上的有力说明。
既然过拟合问题出现了，而且是由于数据集不足导致的，那能不能扩充数据集（旋转、加噪声）进行解决呢？
然而扩充数据集往往在训练分类器这样的判别语义信息任务是有效的，但是简单的扩充数据集在GAN中将会导致“泄漏” ，这主要是由于数据集的扩充会导致GAN学习生成扩充的数据分布。
本文要介绍的论文TrainingGenerativeAdversarialNetworkswithLimitedData利用多样的数据扩充来防止判别器过度拟合的同时确保扩充不会"泄漏"到生成的图像中。

文章图片
论文标题：TrainingGenerativeAdversarialNetworkswithLimitedData
论文链接：https://arxiv.org/abs/2006.06676
总结一下ADA方法在生成模型上的优势：
ADA可以实现少样本数据下的较好质量的生成
ADA可以保证数据扩充前提下防治数据的"泄漏"
自适应的判别器增强保证了模型不轻易出现过拟合，模型更加稳定
数据不充分下生成改进
数据不充分的情况下进行数据扩充无疑是最直接了当的解决方式，传统的GAN训练数据集的任何扩充都将继承到生成的图像，这无疑是数据扩充不希望得到的结果，如何解决呢？
2.1数据扩充
平衡一致性正则化（bCR）提出了应用于同一输入图像的两组扩增应产生相同的输出，为判别器损失上添加一致性正则项，也为真实图像和生成的图像实施判别器一致性，而训练生成器时则不应用增强或一致性损失，这部分直观的理解如图2a所示。
然而， bCR中生成器可以自由生成包含扩充的图像而不会受到任何惩罚，这就导致了“泄漏”的进一步增强，文章在后面实验部分也验证了bCR确实导致了“泄漏”的发生。