人工智能的安全问题不容忽视( 三 )

第二个工作是基于时空稀疏的视频对抗攻击。由于视频数据的维度很高，导致攻击算法的复杂度往往较高。对此，我们提出了基于时空稀疏的视频数据对抗攻击方法。时空稀疏是指在生成对抗扰动时，仅对特定帧的特定区域生成扰动，以此降低对抗扰动的搜索空间，提高攻击效率。在该工作中，为了实现时空稀疏，我们根据启发式规则衡量每个帧的重要性，选择视频帧的子集进行扰动；同时，在空间上我们选择指定帧的写入区域，如针对前景运动的人做一些干扰。以此实现高效的视频黑盒攻击。
第三个工作是针对视频识别模型进行后门攻击。针对后门攻击，之前的研究都集中于图像领域，且都是生成固定的棋盘格式的后门，这种方法在视频上的攻击成功率极低。对此，我们提出了一种针对视频数据的后门攻击方法。在该工作中，我们首先对视频数据进行后门生成，并将后门图案安插在视频中不显眼的角落，同时我们对原始视频其他内容施加一些对抗干扰，使得我们识别的模型更加侧重利用后门，以此得到污染数据，并用污染的数据替换原始数据集里对应的数据，实现后门攻击。该工作在公开数据集上取得了比较好的攻击结果，在很多类别上平均攻击成功率可以实现80%左右，远高于现有的基于图像数据的后门攻击方法。
技术对人工智能治理至关重要
未来，技术将在人工智能安全问题检测以及相应规则落实上发挥重要的作用。在保障模型安全方面，通过发展对抗攻防理论设计更加鲁棒的智能模型，确保智能系统在复杂环境下的安全运行，形成人工智能安全评估和管控能力。在隐私保护上，发展联邦学习及差分隐私等理论与技术，规范智能系统分析和使用数据的行为，保障数据所有者的隐私。针对智能系统决策的可解释性问题，发展机器学习可解释性理论与技术，提升智能算法决策流程的人类可理解性，建立可审查、可回溯、可推演的透明监管机制。在决策公平方面，可以利用统计学理论与技术，消除算法与数据中的歧视性偏差，构建无偏见的人工智能系统。最后，为了保证人工智能技术不被滥用，可以通过发展大数据计算与模式识别等理论与技术，预防、检测、监管智能技术被滥用的情况，创造有益于人类福祉的人工智能应用生态。
姜育刚，复旦大学教授、博士生导师，计算机科学技术学院院长、软件学院院长、上海视频技术与系统工程研究中心主任。
《张江科技评论》！

本文插图

本文插图