Facebook|Facebook AI指出：CNN的padding机制，存在一大缺陷缺陷|facebook|机制|一大|cnn|ai

作者 | 青暮
【 Facebook|Facebook AI指出：CNN的padding机制，存在一大缺陷】Facebook AI近期提出一项新研究，表明CNN中常用的padding机制存在重大缺陷，会导致特征图中出现伪影，从而影响CNN的应用。
作者把这种伪影称为空间偏差，这种偏差对于某些任务特别是小目标检测是有害的，偏差会导致特征图上的伪影，而处于伪影中的物体无法被检测到，从而导致盲点或误检测。此外，该机制还会导致学习的权重出现不对称。
为此，作者提出了减轻空间偏差的解决方案，实验结果表明这有助于提高模型的准确率。
论文地址：https://arxiv.org/pdf/2010.02178.pdf
1
神秘故障
目前对于卷积神经网络的大量研究工作集中在理解CNN的特征图。但是，很少有人关注特征图中激活的空间分布。
Facebook AI的研究人员表示，之所以会对其空间分布感兴趣，是因为交通信号灯检测器经常出现神秘故障，该检测器能够在道路场景的一帧照片中以高分数检测出小而可见的信号灯。
但是其对下一帧的交通信号灯的检测完全失败。这两张输入图像的主要区别在于，在垂直方向存在有限的位移（图像是通过移动车辆采集的）。鉴于CNN通常被认为具有高度的平移不变性，因此在目标检测方面出现如此大的差异，实在令人惊讶。
特征图激活的空间分布随输入而变化。通过仔细检查大量输入样本的特征分布，作者发现，这些特征图会出现与任何输入特征都不相似的伪影。
通过分析，作者证明了这些伪像是造成前面提到的神秘故障的原因，因为它们会导致目标检测出现“盲点”。
2
padding如何导致空间偏差
在BSTLD这个GitHub项目中，作者对交通信号灯检测模型进行了分析。图1展示了使用的数据集中的两个示例场景。对于每个场景，图中展示了第11个卷积层中由两个卷积核计算出的两个特征图。
图1的最后一行展示了上述两个卷积核中每个卷积核的平均响应。第一个过滤器似乎主要响应输入的上半部分的特征，而第二个过滤器主要响应街道区域。
在两个平均图中，存在一些可见的线条，与任何场景特征都不相似，并且始终存在于各个特征图中。
作者分析了所有512个卷积核的特征图中这些伪影的普遍性，发现这些伪影在平均特征图中大部分都是可见的。

文章插图
图1：交通信号灯检测器的最后一个卷积层中每个输入和每个过滤器的平均特征图。颜色表示激活强度（越亮则越高），在地图上显示出伪影，这些伪影是空间偏差的表现。
有一种使伪影突出的方法，是通过计算零值输入的特征图来中和场景特征。图2描绘了应用ReLU单元后每个卷积层的平均图。
其中，第一层平均特征图在值为0的输入下是恒定的。除了一个1像素的边缘之外（左边），第二层平均特征图也是恒定的。
边界偏差在随后的层中增加了厚度并增加了方差，从而在每个边界处创建了多个伪影。这些伪像在ReLU 8上变得非常明显，并开始向内传播，类似于图1中的伪像。

文章插图
图2：0输入的逐层激活特征图。
显然，第二层特征图中的1像素边界是由padding机制引起的。该机制使用1像素0值边框填充前一层的输出，以便在应用3x3卷积核后保持特征图的大小。
第一层中的特征图不会受到影响，因为输入为零值。但是，后续层越来越受到padding的影响，因为偏置项导致不能保证输入值为0。
在图2中值得注意的是，由padding引起的伪影在四个边界上都不同。为了研究这种不对称性，作者分析了生成特征图的卷积核。
图3描绘了这些3x3卷积核的每层平均值。这些平均核在其权重的空间分布中表现出不同程度的不对称性。
例如，L1中的平均核在左边界分配负权重，在底部分配正权重。这会直接影响padding在每个边界处引起的变化。这种不对称与padding的不均匀应用有关。
图3：每个卷积层的平均核，所有卷积核均为3×3，标题显示其核数量。
3
空间偏差的影响
接下来，作者演示了特征图伪影如何导致SSD模型的盲点。类似的问题出现在几种小物体的检测中，例如人脸，以及像素级任务，例如语义分割和图像修复。
图4展示了SSD如何根据第11个卷积层的特征图预测小物体。SSD使用特征图中的像素位置作为目标建议的anchor。SSD会对每个建议进行评分，以预测目标类别和背景类别。除了这些分数外，SSD还计算边界框，从而将预测目标定位在每个anchor处。