韭菜花音乐|联合工作：利用NAS搜索针对对抗攻击的鲁棒神经网络，港中文、MIT( 二 ) 郭明皓AI科技评论前天本文解读的是CVPR

3）我们发现原始数据和对抗样本之间的FSP（FlowofSolutionProcedure）的距离可以很好地指示网络的鲁棒性。
基于这些观察，我们搜索并设计了一系列鲁棒的网络结构，称为RobNets 。我们在CIFAR ， SVHN ， Tiny-ImageNet和ImageNet等数据集上进行大量实验，结构表明RobNets相比与广泛使用的网络结构，在对抗攻击下具有更好的鲁棒性。
3
方法
1、搜索框架
1）鲁棒搜索空间
我们的工作与传统NAS工作在搜索空间上的主要区别在于两个方面：1）我们减少了搜索空间中候选操作总数，仅剩下：3×3depthconvolution ， identity和zero三种操作。这有助于减轻对抗训练的负担，同时在搜索空间中保留足够多的候选网络结构。 2）我们不限制两个中间节点之间的最大操作数（可以多于一种操作，如同时有convolution和identity）。如图所示，这种设计保证搜索空间能够包含更多网络结构，一些经典的人工设计结构也在其中，例如ResNet和DenseNet 。
2）鲁棒搜索算法
我们基于OneshotNAS方法[1]开发了鲁棒搜索算法。具体而言，我们将网络结构参数α中的所有元素设置为1 ，以获得包含所有可能网络结构的super-net 。在super-net的训练阶段，对于每批训练数据，我们从super-net中随机采样候选子网络结构（通过随机将α中的某些元素设置为0），随后通过PGD[2]生成对于采样子网络的对抗样本，并进行对抗训练以最大程度地减少对抗损失。这种机制可确保训练过程中产生的对抗样本并非仅由一个特定网络结构产生。
3）鲁棒性评价
经过上述训练过程获得supernet后，我们可以通过从supernet中随机采样并继承权重来收集候选子网络结构。我们发现，通过对抗训练对候选子网络finetune仅几个epoch ，其在验证数据集上的性能就可以显着提高。下图展示了对1000个随机采样的候选子网络结构进行finetune之前和之后的对抗精度对比。可以清楚地看到，鲁棒性已经大大提高了。
4）鲁棒网络结构统计结果
我们对上述获得的1000个候选子网络进行了统计分析，首先将这1000个网络结构按照对抗精度进行排序，然后将排序前300的网络标为1 ，排序后300的网络标为-1 ，针对网络结构参数α分别进行了t-SNE和线性分类。如下图所示，在两个类别间，网络结构参数α的低维空间映射具有清晰的边界，同时线性分类器的所有权重参数值都大于0 。
通过直接比较网络结构密度与对抗精度之间的关系（如下图），我们发现二者之间存在很强的相关性。这表明密集连接的模式可以显着提高网络的鲁棒性。
2、不同预算下的结构策略
我们考虑三种不同的计算预算。由于每个cell中最大卷积操作数为14 ，因此我们将卷积总数小于7设置为小型预算， 8到10个设置为中等预算，大于11设置为大型预算。对于每个预算，我们随机抽样100个网络结构，并评估其对抗精度，并计算所有卷积中位于直连边上的卷积个数的比例。如下图所示，对抗精度在不同预算之间有明确的界限。此外，对于中小型预算，直连边上卷积个数的比例与对抗精度呈正相关。这表明对于较小的计算预算，将卷积添加到直连边可以有效地提高网络的鲁棒性。我们还注意到，对于大型预算，这种现象并不明显。我们推测，对于预算较大的网络结构，密集连接的模式将主导网络鲁棒性。根据以上结果，我们得出以下结论：在较小的计算预算下，将卷积运算添加到直连边会更有效地提高模型的鲁棒性。
3、鲁棒结构的统计指标受到TRADES[3]启发，我们提出一种鲁棒网络结构的统计指标。 TRADES是一种损失函数，该函数使对抗样本与其对应的原始数据之间的logit分布的KL散度最小。该损失函数的值可用作网络鲁棒性与其原始数据精度之间差距的度量。我们不关注网络的最终输出，而是考虑网络中间单元之间的特征流。具体来说，我们计算网络结构中每个cell上的Gramian矩阵，表示为FSP[4] 。 FSP矩阵计算如下：与之前类似，我们采样不同的网络结构，评估每个网络结构在原始数据精度和对抗精度的差距，并计算了网络中每个cell的FSP矩阵距离。如下图所示，我们可以观察到，对于位于网络较深位置的cell ，其FSP距离与此网络的原始数据精度和对抗精度的差值呈正相关。据此得出结论，鲁棒的网络在较深的网络cell中具有较低的FSP矩阵距离。 4