CVPR 2020 Oral | 将SOTA行人再识别系统精度降至1.4%

机器之心专栏
作者：Hongjun Wang、Guangrun Wang等
行人再识别系统（re-ID）无处不在，可以在不同摄像头拍摄的视频中精确地找出同一个人，但这种系统也很容易被对抗样本所欺骗，因此检验 re-ID 系统抵抗对抗攻击的鲁棒性非常重要。来自中山大学、广州大学和暗物智能的研究者们通过提出一种学习误排序的模型来扰乱系统输出的排序，从而检验当前性能最佳的 re-ID 模型的不安全性，为 re-ID 系统的鲁棒性提供了改进的方向。该论文已被 CVPR 大会接收为 oral 论文。

本文插图
行人再识别（re-ID）——一种个人身份鉴别技术和继人脸识别之后的又一重要算法，随着深度学习的发展进入了一个新时代。在 Market-1501 上，各大公司玩命刷榜，甚至达到了超人类的识别水平。
日益成熟的 re-ID 技术也进一步夯实了天网工程、智能安防系统等应用的理论基础，为维护和管理城市秩序提供了技术支撑，为预防和打击违法乱纪行为奠定了保障。
但是，作为视觉模式匹配的代表， re-ID 是否继承深度神经网络的漏洞仍待探讨。检查 re-ID 系统的稳健性非常重要，因为 re-ID 系统的不安全性可能会造成严重损失，例如，犯罪分子可能会利用对抗性干扰来欺骗视频监控系统。

本文插图
图 1：Market-1501 和 CUHK03 上 AlignedReID 被攻击前后的 Rank-10 结果。绿色代表正确匹配。红色代表错误匹配。
为了探究上述问题，来自中山大学、广州大学和暗物智能科技的研究者们通过提出一种学习误排序的模型来扰乱系统输出的排序，从而检验当前性能最佳的 re-ID 模型的不安全性。
由于跨数据集的可迁移性在 re-ID 域中至关重要，因此作者还通过构建新颖的多级网络体系结构进行半黑盒式攻击，该体系结构将不同级别的特征金字塔化，以提取对抗性扰动的一般和可迁移特征。该体系可以通过使用可微分的采样来控制待攻击像素的数量。为了保证攻击的不显眼性，作者还提出了一种新的感知损失，以实现更好的视觉质量。
在四个最大的 re-ID 基准数据集（即 Market1501 ， CUHK03 ， DukeMTMC 和 MSMT17）上进行的广泛实验不仅显示了该方法的有效性，而且还为 re-ID 系统的鲁棒性提供了未来改进的方向。例如，性能最好的 re-ID 系统之一的精度在受到该方法的攻击后从 91.8％急剧下降到 1.4％。一些攻击效果如图 1 所示。相关研究以「Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking」为题被计算机视觉顶会 CVPR 2020 接收，属于口头报告（Oral）。代码已开源。

本文插图
论文链接：https://arxiv.org/abs/2004.04199
代码链接：https://github.com/whj363636/Adversarial-attack-on-Person-ReID-With-Deep-Mis-Ranking
背景
深度神经网络（DNN）的成功使许多计算机视觉任务受益，例如行人再识别（re-ID），这是一项旨在跨摄像机匹配行人的关键任务。特别是， DNN 在特征学习和距离度量学习方面使 re-ID 受益匪浅，这将 re-ID 带入了一个新时代。得益于 DNN ， re-ID 在视频监控或为公共安全的犯罪识别中得到了广泛的应用。
尽管从 DNN 获得了令人印象深刻的收益，但是 re-ID 是否继承 DNN 的漏洞仍待探索。具体而言，最近的工作发现 DNN 容易受到对抗性攻击（对抗性攻击是利用对抗样本误导系统）。在过去的两年中，对抗性攻击在欺骗基于 DNN 的系统（例如图像分类）方面取得了显著成功。那么基于 DNN 的 re-ID 系统能否抵抗攻击？答案似乎并不乐观。经验证据表明，戴着包、帽子或眼镜的人可能会误导 re-ID 系统以输出错误的预测。这些例子可以被认为是自然的对抗样本。