韭菜花音乐|联合工作：利用NAS搜索针对对抗攻击的鲁棒神经网络，港中文、MIT 郭明皓AI科技评论前天本文解读的是CVPR

郭明皓AI科技评论前天

文章图片
本文解读的是CVPR2020论文《WhenNASMeetsRobustness:InSearchofRobustArchitecturesagainstAdversarialAttacks》，作者来自香港中文大学、MIT 。
作者|杨宇喆
编辑|丛末

文章图片
论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Guo_When_NAS_Meets_Robustness_In_Search_of_Robust_Architectures_Against_CVPR_2020_paper.pdf
源码地址：https://github.com/gmh14/RobNets
1
导读
为了提高深度神经网络的对抗鲁棒性，现有工作集中于研究对抗学习算法或损失函数来增强网络鲁棒性。
在这项工作中，我们从神经网络结构的角度出发，研究了可抵抗对抗攻击的神经网络结构的模式。为了获得本研究所需的大量网络，我们采用了Oneshot神经网络结构搜索（NAS），对一个super-net进行一次训练，然后对从中采样的子网络进行了对抗微调。采样的网络结构及其鲁棒性精度为我们的研究提供了丰富的基础。
我们的“鲁棒的神经网络结构”研究揭示了一些有价值的观察结果：
1）密集连接的网络模式可提高神经网络鲁棒性；
2）在有限的模型容量预算下，将卷积运算添加到直连边是更有效的；
3）FSP（FlowofSolutionProcedure ，解决程序流程）矩阵流是检验网络鲁棒性的良好指标。
基于这些观察，我们发现了一系列鲁棒的网络结构（RobNets）。在CIFAR ， SVHN ， Tiny-ImageNet和ImageNet等大量数据集上， RobNets表现出相比于其他广泛使用的网络结构（如ResNet ， DenseNet）更高的鲁棒性。值得注意的是， RobNets即使在参数数量较少的情况下，也能在白盒和黑盒攻击下大幅提高鲁棒性（绝对增益约为5％）。
2
简介
深度神经网络容易受到对抗样本攻击：在对抗攻击下，自然数据（如图像）会受到人类难以察觉的对抗噪声干扰，从而使得神经网络产生完全错误的输出。为了提高网络的鲁棒性，研究者们提出了大量对抗防御的方法，其中的主要关注点包括对抗学习算法，损失/正则化函数，以及图像预处理等。然而，还没有相关研究探讨过与现有防御机制的一个正交的方面：神经网络结构本身对其抵御对抗样本的影响。在这项工作中，我们尝试从神经网络结构的角度去系统地分析、理解神经网络的对抗鲁棒性。具体来说，我们旨在回答以下问题：
什么样的神经网络结构模式是对于对抗鲁棒性是至关重要的？
给定一定模型容量的预算，如何分配网络结构的参数以有效地提高网络的鲁棒性？
鲁棒的神经网络结构的统计指标是什么？
为了回答上述问题，我们需要训练大量具有不同网络结构的神经网络，并评估其鲁棒性以得出结论。然而，这个过程非常耗时，尤其当我们需要引入对抗训练。针对这个问题，我们提出采用Oneshot神经网络结构搜索（NAS）的方法，使得我们可以同时一次性在众多网络结构之间评估鲁棒性。具体来说，我们首先训练一个super-net ，然后我们从中对网络结构进行采样，并对候选子网络finetune几个epoch ，以在对抗攻击下获得较高的鲁棒性。我们的研究与分析表明了鲁棒的神经网络具有以下的性质：
【韭菜花音乐|联合工作：利用NAS搜索针对对抗攻击的鲁棒神经网络，港中文、MIT】1）我们在搜索空间中对1,000个网络结构进行了统计分析，发现网络结构密度与对抗精度之间存在很强的相关性。这表明密集连接的模式可以显着提高网络的鲁棒性。
2）我们在三种不同的模型容量预算下限制参数的数量，并通过实验发现，在直连边添加卷积运算对于提高模型的鲁棒性更为有效，尤其是对于较小的模型容量预算而言。