DeepTech深科技|“单核” 变“多核”，显著提高 “对抗性攻击” 防御力，18 岁清华毕业，95后博士生杨幻睿将深度学习( 三 ) 9月26日

由于训练的过程只要求不同模型习得不同的非鲁棒特征，而并不强求他们去学习鲁棒特征，因此最终可以在几乎不损失识别准确性的前提下实现显著的鲁棒性提升。

文章图片
图|核心伪代码计算过程。这是一个循环的训练过程，假设ensemble里面有3个sub-model ，则用A模型的非鲁棒性特征训练B、C；用B模型的非鲁棒性特征训练A、C；用C模型的非鲁棒性特征训练A、B 。
实验得出的结果显示，杨幻睿的方法是有效的。
以CIFAR-10数据集下训练的ResNet-20模型为例。
如果不考虑对抗性攻击，使用正常数据集训练，单个模型的准确率大概为92.6% 。当训练三个模型构成集合之后，准确率提高到了94.1% 。但此时模型对对抗攻击毫无抵抗能力。幅值为图片像素范围1%的黑盒（由其他模型迁移而来）对抗性噪声就可以将这一集成模型的准确率降低至10% 。
当对这一集成模型进行对抗性训练后，其对正常测试数据的识别准确率会掉到76.7% 。受低准确率的拖累，尽管模型学到了鲁棒特征，其对于之前提到的黑盒攻击的识别准确率也只有75.5% 。
以杨幻睿及同事论文中提出的方法进行差异性训练之后，模型在正常数据集的准确率仅会下降到91.4% ，而对攻击的准确率提升至83.9% 。在牺牲了少量准确率的情况下，制造了高鲁棒性的模型。在面对幅值更大的黑盒攻击时，本文提出的方法也得到了显著高于前人集成学习方法得到的鲁棒性。

文章图片
图|基准训练和DVERGE训练决策平面对比。同种颜色代表同一类别，棕色为正确的结果。可以看到，在基准训练中，蓝色的错误部分，在不同模型中全部存在，并且全部存在于棕色正确部分的下方，这就带来了迁移性。而在DVERGE训练之中，每个模型的棕色部分旁边的颜色都不一致，这就代表非鲁棒特征并没有在不同模型之间迁移。因而最左侧展示的集合模型可以取得高鲁棒性
杨幻睿说， “我们不是第一个使用集成学习的方式来增加模型鲁棒性的，但我们真正做到了有效。使用DVERGE几乎杜绝了对抗性攻击在不同模型之间的迁移。使用此前的方法迁移成功率大概还有65%左右，但我们将这个数字降低到了3%-5%左右。 ”
“同时，当将我们的方法同对抗性训练结合到一起，将会得到一个既高准确率，又有高白盒攻击鲁棒性的模型。 ”

文章图片
图|DVERGE训练下模型最终的黑盒、白盒鲁棒性
不难想象，杨幻睿的方法为人工智能技术的广泛应用排除了部分技术层面的障碍，有望成为人工智能从业者的通用解决方案，极大提高现有模型对恶意行为的容错。
目前，杨幻睿已经在模型压缩和增强模型鲁棒性方面都有了一定积累，他准备在博士毕业之前将这两个部分整合，期望能得出一套稳定产出精简、高鲁棒性、高识别率模型的方法。
不普通的人生
杨幻睿出生于1998年，因为父亲在清华机械系任教，所以自小他便在清华校园长大。耳濡目染着国内顶级的学术氛围，身边的同学也大都是清华的“子弟” 。
现年22岁的他， 18岁就从清华大学电子工程系毕业，如今已经是美国杜克大学（DukeUniversity）博士四年级学生。
同考入清华大学相比，杨幻睿更不寻常的地方是毕业于北京八中“少儿班”（杨幻睿于2009年入学，是八中少儿班自1985年开班以来的第16届，即“少16班”）。
这是一个专门为智力超常儿童所准备的超常教育体系，进入到这个体系的学生将脱离小升初以及中考的窠臼，用4年的时间完成小学六年级及初高中共七年的全部课程，然后直接参加高考。虽然时间短，课业重，但这些孩子基本都身心健康且出色地完成了学业，清北率不输最优秀的哥哥姐姐。