科技日报数据投毒致人工智能失控，AI杀毒软件市场尚为一片蓝海( 二 )

白皮书还提到，人工智能算法模型主要反映的是数据关联性和其特征统计，没有真正获取数据之间的因果关系。所以，针对算法模型这一缺陷，对抗样本通过对数据输入样例，添加难以察觉的扰动，使算法模型输出错误结果。
如此一来，发生文章开头所谈到的一类事故就不足为奇了。
此外，模型窃取攻击也值得注意。由于算法模型在部署应用中需要将公共访问接口发布给用户使用，攻击者就可以通过公共访问接口对算法模型进行黑盒访问，并且在没有算法模型任何先验知识（训练数据、模型参数等）的情况下，构造出与目标模型相似度非常高的模型，实现对算法模型的窃取。

本文插图
闫怀志在采访中表示， AI安全更突出功能安全问题（safety），这通常是指人工智能系统被恶意数据（比如对抗样本数据）所欺骗，从而导致AI输出与预期不符乃至产生危害性的结果。 “AI功能安全问题与传统的网络安全强调的保密性、完整性、可用性等信息安全问题（security），存在本质不同。 ”
预防“中毒”困难重重
AI技术也可构筑网络安全利器
闫怀志表示，目前种种原因导致了预防人工智能“中毒”困难重重，原因具体表现在三个方面。
一是很多AI研发者和用户并没有意识到AI病毒的巨大风险和危害，重视并解决AI病毒问题根本无从谈起；二是由于AI正处于高速发展阶段，很多AI研发者和生产商“萝卜快了不洗泥” ，根本无暇顾及安全问题，导致带有先天安全缺陷的AI系统大量涌入应用市场；三是部分AI研发者和供应商虽然意识到了AI病毒问题，但由于技术能力不足，针对该问题并无有效的解决办法。
“当然，网络安全本来就是一个高度对抗、动态发展的领域，这也给杀毒软件领域开辟了一个蓝海市场， AI杀毒行业面临着重大的发展机遇。 ”闫怀志强调，杀毒软件行业首先应该具有防范AI病毒的意识，然后在软件技术和算法安全方面重视信息安全和功能安全问题。
“以现实需求为牵引，以高新技术来推动，有可能将AI病毒查杀这个严峻挑战转变为杀毒软件行业发展的重大契机。 ”闫怀志强调， AI技术既会带来网络安全问题，也可以赋能网络安全。
一方面，人工智能的广泛应用带来了许多安全风险。由技术性缺陷导致的AI算法安全风险，包括可导致AI系统被攻击者控制的信息安全问题；也可导致AI系统输出结果被攻击者任意控制的功能安全问题。
但另一方面，人工智能技术也可以成为构筑网络空间安全的利器，这主要体现在主动防御、威胁分析、策略生成、态势感知、攻防对抗等诸多方面。 “包括采用人工神经网络技术来检测入侵行为、蠕虫病毒等安全风险源；采用专家系统技术进行安全规划、安全运行中心管理等；此外，人工智能方法还有助于网络空间安全环境的治理，比如打击网络诈骗。 ”闫怀志说。
中国信息通信研究院安全研究所的专家称，为有效管控人工智能安全风险并积极促进人工智能技术在安全领域应用，可从法规政策、标准规范、技术手段、安全评估、人才队伍、可控生态等方面构建人工智能安全管理体系。
来源：科技日报
编辑：张琦琪（实习）
审核：管晶晶
【科技日报数据投毒致人工智能失控，AI杀毒软件市场尚为一片蓝海】终审：冷文生