|对抗性攻击的原理简介( 二 )



现在 , 你是否知道一种具有非常高 VC 维度的算法 , 这意味着它可以在非常高的维度上分离点? 我所知道的唯一算法是 SVM 的高斯或 RBF 核 , 它的 VC 维数为无穷大 , 这意味着理论上它甚至可以在神经网络无法做到的无穷维中分离点 。正是因为这个原因 , RBF-SVM 对对抗样本具有鲁棒性 。对于除 RBF-SVM 之外的任何其他分类器 , 研究人员都可以生成任何被预测为 0、1、2….、9 的数字并且无论从人还是从机器角度看输入中也没有任何明显的噪声 。下图显示 , 当他们尝试为 RBF-SVM 生成对抗样本时 , 数字实际上发生了很大变化 。RBF-SVM 将数据推向无限维度 , 因此每个类之间的类间距离很大 。

对于神经网络 , 可以使用对抗性示例训练网络 , 这往往会增加网络的鲁棒性 。对抗训练提供正则化和半监督学习 下图显示了对抗样本训练的性能提升 。其他想法是训练模型使其不可微 。此外对抗性攻击不会因为传统的正则化技术而消失 。

以下都是对于对抗性攻击没有任何作用的一些方法

最初研究人员认为GAN可以解决这个问题 , 他们认为如果我们知道输入的真实分布 , 我们就可以避免这个问题 , 但事实证明 , 识别对抗样本仍然非常困难 。 看看下面的图片 , 一组是好的 , 另一组是坏的 , 但是对人类的眼睛来说 , 它们看起来是一样的 。

  • 线性模型:支持向量机/线性回归不能学习阶跃函数 , 所以对抗训练的用处不大 , 作用非常类似于权值衰减
  • k-NN:对抗训练容易过度拟合 。
结论
  • 神经网络实际上可以变得比其他模型更安全 。对抗性训练的神经网络在任何机器学习模型的对抗性示例上都具有最佳的经验成功率 。
  • 对抗训练提供正则化和半监督学习
  • 进攻很简单
  • 防守很困难
【|对抗性攻击的原理简介】作者:Vishal Rajput