一文读懂机器学习“数据中毒”( 三 )

这种被称为TrojanNet的技术并没有对目标机器学习模型进行修改。相反，它创建了一个简单的人工神经网络来检测一系列小的补丁。
TrojanNet神经网络和目标模型被嵌入到一个包装器中，该包装器将输入传递给两个人工智能模型，并将其输出结合起来，然后攻击者将包装好的模型分发给受害者。

本文插图
TrojanNet利用单独的神经网络来检测对抗补丁，并触发预期行为
TrojanNet“数据中毒”方法有以下几个优点。首先，与传统的“数据中毒”攻击不同，训练补丁检测器网络的速度非常快，而且不需要大量的计算资源，在普通的计算机上就可以完成，甚至都不需要强大的图形处理器。
其次，它不需要访问原始模型，并且兼容许多不同类型的人工智能算法，包括不提供其算法细节访问权的黑盒API 。
第三，它不会降低模型在其原始任务上的性能，这是其他类型的“数据中毒”经常出现的问题。最后， TrojanNet神经网络可以通过训练检测多个触发器，而不是单个补丁。这样一来，攻击者就可以创建接受多个不同命令的后门。

本文插图
通过训练， TrojanNet神经网络可以检测不同的触发器，使其能够执行不同的恶意命令。
这项研究表明，机器学习“数据中毒”会变得更加危险。不幸的是，机器学习和深度学习模型的安全性原理要比传统软件复杂得多。
在二进制文件中寻找恶意软件数字指纹的经典反恶意软件工具无法检测机器学习算法中的后门。
人工智能研究正在研究各种工具和技术，以使机器学习模型能更有效地抵抗“数据中毒”和其他类型的对抗攻击。 IBM的人工智能研究人员尝试将不同的机器学习模型结合到一起，实现其行为的一般化，从而消除可能出现的后门。
同时，需要注意的是，和其他软件一样，在将人工智能模型集成到你的应用程序之前，要确保人工智能模型来源的可靠性。毕竟，你永远不知道在机器学习算法的复杂行为中可能隐藏着什么。
原文链接：https://thenextweb.com/neural/2020/10/15/what-is-machine-learning-data-poisoning-syndication/
本文由AI科技大本营翻译，转载请注明出处

本文插图

本文插图