PaperWeekly 大幅提高CIFAR-10数据生成，?NVIDIA针对数据不充分数据集进行生成改进( 三 ) ?PaperWeekly原创·作者

根据这些结果，文章最后选择在模型设计上仅采用像素层，几何和颜色转换。图4d显示，虽然较强的增强会减少过度拟合，但也会减慢收敛速度。
实际上，当固定增强控制时，对数据集大小的敏感性往往需要进行昂贵的网格搜索，依靠任何固定的p可能不是最佳选择，文章进一步就此问题设计了自适应来解决这些问题。
2.4自适应判别器增强（ADA）
文章的设计目的是希望避免手动调整增强强度，而是根据过拟合的程度动态控制它。量化过度拟合的标准方法是使用单独的验证集（真实图像数据但是并不在训练集中），并观察其相对于训练集的行为，这个表示方式已经在图1的b和c中体现。
当过度拟合开始时，验证集开始表现得越来越像生成的图像。这是可量化数据增强的效果，但这也带来了一问题，就是稍微奢侈了些，尤其是真实样本已经很少了，还要分出来一部分作为验证集。
训练集，验证集和生成图像表示判别器的输出，以及它们在个连续小批处理中的平均值。在实验上，使用，它对于Bitchsize为64时候，也就是处理个图像。文章对图1的观察结果转换为两种可能的过度拟合启发式公式：

文章图片
对于这两种启发式方法，由上述分析我们已经知道当过度拟合开始时，验证集开始表现得越来越像生成的图像，也就是当表示没有过度拟合，而当表示完全过度拟合，文章的目标是调整增强概率，以使所选的启发式方法与合适的目标值匹配。第二个启发式算法估计训练集中获得正向判别器输出的部分。
将初始化为零，并根据所选的过拟合试探法（的值）每四个小批量调整一次其值，如果试探法表明过度拟合或过度拟合过小，通过将递增/递减固定量来应对。
通过对从0到1足够快地上升，但是例如在500k图像（数据量很大），每一步之后，都被限制为0 ，将这种变化称为自适应判别器增强（ADA），文章也进行了实验比对，结果如图5和图6所示。

文章图片
▲图5.自适应判别器增强评估实验
在图5a ， b中，可以观察到和都可以有效防止过度拟合，并且它们都比使用网格搜索找到的最佳固定改善了结果，文章也确定了在后续实验中的初始值设置为0.6 。图5d显示了具有自适应vs固定的的演变，表明固定在开始时往往太强，而在结束时往往太弱。

文章图片
▲图6.ADA验证实验
图6使用ADA重复了图1的设置，可以看到无论训练集的大小如何，都可以实现收敛，并且不再发生过度拟合。如果不进行扩充，随着时间的流逝，生成器从判别器接收到的梯度将变得非常简单，判别器开始仅关注少数功能，并且生成器可以自由创建其他无意义的图像。同时使用ADA时，梯度场保持更详细，从而避免情况的恶化。
实验与评估
文章在FFHQ和LSUNCAT进行实验，有趣的是ADA和bCR的优势在很大程度上是可加的，图7给出了实验结果。

文章图片
▲图7.FHQ和LSUNCAT下进行实验
为进一步定量说明，文章和PA-GAN[2] ， WGAN-GP[3] ， zCR[4] ， auxiliaryrotations[5]和spectralnormalization[6]进行定量比对，结果如图8 ，不得不说的是ADA在CIFAR-10数据集下取得了非常好的结果这在之前的生成模型上是看不到的，这个进步是很大的。

文章图片
▲图8.定量对比实验
在迁移学习上， ADA也展示了优越的结果。