反思图像超分辨率的数据增强：综合分析和新战略一、摘要数据增强是提高深度

一、摘要数据增强是提高深度网络性能的有效方法。不幸的是，当前的方法主要是针对高层视觉任务（例如分类），很少研究低层视觉任务（图像恢复）。在本文中，我们对应用于超分辨率任务的现有增强方法进行了全面分析。我们发现丢弃或调整像素及特征的现有方法过多地阻碍了图像恢复，因为空间关系非常重要。根据我们的分析，我们建议使用 CutBlur ，剪切低分辨率的补丁并将其粘贴到相应的高分辨率图像区域，反之亦然。CutBlur 的主要目的是使模型不仅学习“如何”而且还学习“在何处”提高图片的分辨率。模型可以借此了解“多少”而不是盲目地学习对每个给定像素应用超分辨率。我们的方法可以在各种情况下一致且显着地提高性能，特别是当模型很大且数据从现实环境中收集。我们还表明，我们的方法优化了其他低层视觉任务，例如降噪和压缩伪像去除。
二、介绍数据增强（DA）是在测试阶段无需增加计算成本即可增强模型性能的最实用方法之一，但低层视觉领域的相关研究较少。同时，许多图像恢复研究，例如超分辨率（SR）都依赖于合成数据集[22] ，为此我们可以通过模拟系统退化函数（例如双三次核 SR）增加训练样本的数量。
然而，由于模拟数据分布与实际数据分布之间存在差距，因此在模拟数据集上训练的模型存在泛化性问题，有一些研究试图采用现实世界数据补全数据集，但成本过高。为了更好地认识低层视觉领域的 DA 方法，我们对高层视觉任务 DA 方法的效果进行了综合分析（第 2 节）。我们发现直接应用于 SISR 时某些方法会损害图像恢复结果，甚至会妨碍训练，尤其是当一种方法在很大程度上导致附近像素之间的空间信息丢失或混乱时（Cutout 和特征域方法）。有趣的是，诸如 RGB 排列之类的基本操作不会引起严重的空间失真，比那些引发不真实图案或结构急剧转变的操作（Mixup 和 CutMix）提供了更好的改进。
根据我们的分析，我们提出了 CutBlur 这一种新的增强方法，专门用于低层视觉任务。 CutBlur 将低分辨率（LR）图像补丁剪切并粘贴到其相应的地面高分辨率（HR）图像补丁中（图 1）。通过在单个图像中具有随机比率的部分 LR 和部分 HR 像素分布， CutBlur 鼓励模型学习“如何”和“在何处”对图像进行超分辨，从而达到正则化效果。由此该模型还额外学习了将“多少”调整应用于给定图像的每个局部区域的超分辨率。在尝试构建可以同时维护输入 HR 区域并提高其他 LR 区域分辨率的映射时，该模型自适应学习超分辨化图像。
文章插图
图 1：CutBlur 图片处理流程
由于具有这种独特的属性， CutBlur 可以防止经常出现的 SR 模型锐化问题。此外，在训练阶段将几种精选的 DA 方法一起使用可以进一步提高性能，我们称其为增强混合（MoA）（第 3 节）。我们的贡献总结如下：

据我们所知，这第一个在 SISR 任务中提供对最新数据增强方法全面分析的研究。
我们提出了一种新的 DA 方法 CutBlur ，该方法可以通过对模型进行正则化来学习 “如何”并且在“何处”将超分辨率应用于给定图像，从而减少不切实际的失真。
我们的混合策略在 SR 任务中显示出一致且显着的改进，在 RealSR 中实现了最优（SOTA）性能。

三、 CutBlur

算法

文章插图

讨论

为什么 CutBlur 适用于 SR？图像块内的尖锐过渡，混合图像内容，或丢失像素关系会降低 SR 性能。因此一种好的 SR DA 方法不应产生不切实际的变化模式或信息丢失，而应作为 SR 模型的良好规范化工具。CutBlur 通过在相同内容的 LR 和 HR 图像块之间执行剪切和粘贴，满足了上述条件并，可以最大程度地减少边界效应。与 Cutout 不同， CutBlur 可以利用整个图像信息，同时由于样本包含随机 HR 比率和位置，具有正则化效果。
模型通过 CutBlur 学到了什么？与防止分类模型过拟合的其他 DA 方法类似， CutBlur 可以防止 SR 模型使图像过分锐化，并帮助其仅超分辨化必要的区域。这可以通过一些人工设置的实验来证明，其中我们为 CutBlur 训练的 SR 模型提供了 HR 图像（图 2）或 CutBlurred LR 图像（图 3）作为输入。

文章插图