AI研习丨专题：人工智能系统自身的攻防对抗近年来

【AI研习丨专题：人工智能系统自身的攻防对抗】
文章插图
近年来，人工智能飞速发展，在智能语音、计算机视觉和自然语言处理等方面的基础应用技术逐渐成熟，自动驾驶、智能服务机器人和智能安防等人工智能新产品新业态层出不穷。与此同时，人工智能系统面临的恶意攻击者也越来越多，人工智能的安全已经成为一个受到广泛关注的问题。我们不仅要关注使用人工智能技术来解决安全问题，如恶意代码检测和漏洞检测等，更要关注人工智能系统自身的攻防问题，提高人工智能系统的防御能力，促进人工智能的广泛应用。
针对人工智能的攻击技术针对人工智能系统的恶意攻击者一般有两种目的，一是窃取人工智能系统的数据信息或者模型信息；一是干扰人工智能系统的功能正确性以达到自己的目的。
1. 窃取信息的攻击技术
人工智能的四大要素是数据、算法、算力和行业。随着大数据技术发展，数据的价值受到重视，如何汇集利用数据成为人工智能的主要问题之一。算法是实现人工智能的根本途径，是挖掘数据智能的有效方法；算力为人工智能提供了基本计算能力的支撑，是算法实现的基础。数据、算法和算力只有结合实际的行业场景，才能体现出实际的价值，实现行业创新和创造。数据和算法无疑是开发者非常重要的资源，具有一定的商业价值，窃取信息意味着攻击者想要通过某种手段非法获取系统的数据和算法信息。
（1）模型窃取攻击
因为敏感的训练数据和商业价值或者在安全应用中的使用，一些人工智能的模型是机密的。越来越多的机密模型会使用可公开访问的查询接口进行部署。比如，机器学习服务（预测分析）系统就允许用户在可能敏感的数据上训练模型，并按照每次查询的方式向其他人收取访问费用，目前Amazon、Google 和 Microsoft 已经部署相应的机器学习服务平台，提供了机器学习接口（API）。
文章插图
2.干扰功能的攻击技术
随着人工智能在各行各业的广泛应用，恶意攻击者会通过某种手段来躲避人工智能系统的检测或者破坏人工智能的功能，从而达到攻击别人或者以此牟利等目的。
（1）逃避检测攻击
人工智能正越来越多地用于对安全敏感的应用程序中，例如垃圾邮件过滤、恶意软件检测和网络入侵检测，通过阅读系统的相关介绍或利用输入输出进行实验，恶意攻击者可能会意识到机器学习检测器的细节，例如分类器的选择和使用的参数，然后修改他的行为以逃避检测，使得人工智能系统学习混乱。也就是说，逃避检测攻击是对人工智能系统的攻击，对手旨在通过操纵恶意测试样本来避免被检测到，例如通过混淆常见的垃圾邮件词或插入与合法电子邮件关联的词来修改垃圾邮件。
（2）数据污染攻击
数据污染攻击是指攻击者对用于训练的数据进行恶意修改来降低或消除其有效性，从而主动篡改机器学习模型。这些恶意修改可以是插入实例（例如发送特制的电子邮件，无论是良性还是恶意），或者修改数据中的实例（攻击一个用来存储部分数据的服务器），还可以有选择地删除一些实例。
逃避检测攻击和数据污染攻击之间的关键区别是，前者是对学习模型的攻击（例如实际的分类器）；后者则是对算法的攻击（例如最小二乘法回归学习）。
这里举一个恶意众包的示例。恶意众包是指攻击者雇佣一群互联网用户进行恶意活动，比如制造传播虚假谣言的促销活动。假设我们有一个机器学习分类器来检测众包工人，那么逃避攻击就是个体的众包工作者调整自己的行为模式，比如模仿普通用户的行为，来规避训练有素的机器学习分类器的检测。污染攻击则有众包网站的管理员参与，通过污染训练数据来操纵机器学习检测器的训练过程。
文章插图
人工智能的防御技术由于人工智能现在已经广泛地应用于各行各业，为了保障人民利益和隐私安全，如何防御对人工智能系统的攻击已经成为一个十分急迫且必要的问题。根据防御对象的不同，可以将人工智能的防御技术分为针对输入数据的防御技术和针对模型的防御技术。