一文读懂机器学习“数据中毒”

本文插图

本文插图
作者 | Ben Dickson
翻译 | 火火酱~
出品 | AI科技大本营
头图 | 付费下载于视觉中国
在人类的眼中，下面的三张图片分别展示了三样不同的东西：一只鸟、一只狗和一匹马。但对于机器学习算法来说，这三者或许表示同样的东西:一个有黑边的白色小方框。
这个例子说明机器学习模型有一个十分危险的特性，可以利用这一特性使其对数据进行错误分类。 (实际上，这个白色方框比图片上显示的还要小得多，为了方便观察，我把它放大了。 )
（视频链接：
【一文读懂机器学习“数据中毒”】https://thenextweb.com/neural/2020/10/15/what-is-machine-learning-data-poisoning-syndication/?jwsource=cl）

本文插图
机器学习算法可能会在图像中寻找错误的目标
这便是一个“数据中毒”的例子——“数据中毒”是一种特殊的对抗攻击，是针对机器学习和深度学习模型行为的一系列技术。
因此，恶意行为者可以利用“数据中毒”为自己打开进入机器学习模型的后门，从而绕过由人工智能算法控制的系统。

本文插图
什么是机器学习？
机器学习的神奇之处在于它能够执行那些无法用硬性规则来表示的任务。例如，当我们人类识别上图中的狗时，我们的大脑会经历一个复杂的过程，有意识地或潜意识地分析我们在图像中看到的多种视觉特征。其中许多东西都无法被分解成主导符号系统（人工智能的另一个重要分支）的if-else语句。
机器学习系统将输入数据与其结果联系起来，使其在特定的任务中变得非常好用。在某些情况下，其表现甚至可以超越人类。
然而，机器学习并不像人类思维那样敏感。以计算机视觉为例，它是人工智能的一个分支，旨在理解并处理视觉数据。本文开头讨论的图像分类就属于计算机视觉任务。
通过大量的猫、狗、人脸、X光扫描等图像来训练机器学习模型，它就会以一定的方式调整自身的参数，并将这些图像的像素值和其标签联系在一起。可是，在将参数与数据进行匹配时，人工智能模型会寻找最有效的方法，但该方法并不一定符合逻辑。例如，如果人工智能发现所有狗的图像都包含相同商标标识的话，它将会得出以下结论：每一个带有该商标标识的图像都包含一只狗。或者，如果我们提供的所有羊图像中都包含大片牧场像素区域的话，那么机器学习算法可能会调整其参数来检测牧场，而不再以羊为检测目标。

本文插图
在训练过程中，机器学习算法会搜索最简便的模式将像素与标签关联起来。
在之前的某个用例中，一个皮肤癌检测算法曾错误地将所有包含标尺标记的皮肤图像都识别为存在黑色素瘤。这是因为大多数恶性病变的图像中都含有标尺标记，而机器学习模型检测这些标记要比检测病变变化容易得多。
有些情况可能会更加微妙。例如，成像设备具有特殊的数字指纹，这可能是用于捕获视觉数据的光学、硬件和软件的组合效应。这种指纹或许是人类肉眼不可见的，但在对图像的像素进行统计分析时仍然会显示出来。在这种情况下，如果说，我们用于训练图像分类器的所有狗够的图像都是用同一架相机拍摄的，那么最终，该机器学习模型可能会去检测特定图像是否是由该相机进行拍摄的，而不去检测图像的内容。