深层网络的隐式语义数据扩增在本文中

在本文中，我们提出了一种新颖的隐式语义数据扩增 ISDA 方法，以补充诸如翻转，平移或旋转之类的传统扩充技术。我们的工作受到有趣的属性的启发，即深层网络擅长于线性化特征，从而使深层特征空间中的某些方向对应于有意义的语义转换，例如添加阴影或更改背景。因此，在特征空间中沿许多语义方向翻译训练样本可以有效地扩充数据集以提高泛化能力。为了有效且高效地实现这一思想，我们首先对每个类别的深度特征的协方差矩阵进行在线估计，以获取类别内语义的变化。然后从具有估计协方差的零均值正态分布中提取随机向量，以增强该类别中的训练数据。重要的是，我们可以直接最小化增强训练集上期望交叉熵(CE)损失的上限，而不是显式地增强样本，从而得到了一种高效算法。实际上，我们证明了所提出的 ISDA 可以最大程度地减少健壮 CE 损失，从而给正常训练过程增加了可忽略的额外计算成本。尽管 ISDA 很简单，但它不断提高了流行的深度模型 ResNet 和 DenseNet 在各种数据集（例如 CIFAR 10 ， CIFAR 100 和 ImageNet）上的泛化性能。可在以下位置获得用于重现我们结果的代码：。
1 介绍数据增强是一种有效的技术，以缓解训练深度网络[1,2,3,4,5]中的过拟合问题。在图像识别的背景下，这通常对应于在输入样本上应用保留内容的转换，例如裁剪、水平镜像、旋转和颜色抖动。这些增强技术虽然有效，但不能进行语义转换，例如改变对象的背景或前景对象的纹理。最近的工作表明，如果允许语义转换（类标识保持），数据增强技术可能更强大[6,7,8] 。例如，通过为训练集中的每个类训练一个生成性对抗网络(GAN) ，就可以从生成器中采样无限数量的样本。不幸的是，这个过程在计算上是密集的，因为训练生成模型并推断它们以获得增强样本是不简单的任务。此外，由于数据量的增加，训练过程也可能会延长。
本文提出了一种用于训练深度图像识别网络的隐式语义数据扩增(ISDA)算法。 ISDA 是高效的，因为它不需要训练/推断辅助网络或显式地生成额外的训练样本。我们的方法是由最近的工作所做的有趣的观察所驱动的，这些观察表明网络中的深层特征通常是线性化的[9,10] 。具体来说，在深层特征空间中存在许多语义方向，使得沿着这些方向中的一个数据样本被翻译成一个特征表示，对应于具有相同类标识但语义不同的另一个样本。例如，某一方向对应于“戴眼镜”的语义翻译。当一个不戴眼镜的人的特征沿着这个方向被翻译时，新的特征可能对应于同一个戴眼镜的人（新图像可以使用适当的算法显式重建，如[9]所示）。因此，通过搜索许多这样的语义方向，我们可以有效地扩充训练集，以补充传统的数据增强技术。
然而，显式地找到语义方向并不是一项简单的任务，这通常需要大量的人工注释[9] 。相反，随机采样方向是有效的，但可能会导致无意义的转换。例如，对”car”类应用”make-beaspeacled”转换是没有意义的。在本文中，我们采用了一种简单的方法，在有效性和效率之间取得了很好的平衡。具体地说，我们对每个类的特征协方差矩阵进行在线估计，从而捕获类内的变化。然后，我们从零均值多元正态分布与估计的协方差中采样方向，并将其应用于该类别中训练样本的特征以扩充数据集。这样，生成无意义的语义转换的几率可以大大降低。
为了进一步提高效率，我们用所提出的数据增强方案导出了期望交叉熵(CE)损失的封闭形式上界。因此，我们可以直接最小化上界，而不是显式地执行增强过程，这实际上是一种新的鲁棒损失函数。由于不需要生成显式的数据样本，我们将我们的算法称作隐式语义数据扩增(ISDA) 。与现有的语义数据增强算法相比，我们所提出的 ISDA 可以在大多数深层模型之上方便地实现，而不需要引入辅助模型或额外的计算成本。
虽然 ISDA 算法简单，但是它的有效性令人惊讶，并且很好地补充了现有的非语义数据扩增技术。我们对几种有竞争力的图像分类基准进行了大量的实证分析，结果表明， ISDA 能够有效地提高常用深度网络的泛化性能，特别是在训练数据较少和传统增强技术的情况下。
文章插图
2 相关工作在本节中，我们简要回顾了现有的相关课题研究。