一种新方法或让AI模型拥有“联想”力，或能识别从未见过的事物( 二 ) 一种新的方法正在让人工智能

伊利亚和导师从中受到启发，并且认为可以在 Tongzhou Wang 的方法上更进一步 —— 既然可以将 6 万张图像压缩到 10 张，那么为什么不能将它们压缩到 5 张或更少呢？一旦实现，就意味着，通过区区几张图象的训练，人工智能模型就能掌握从 0 到 9 这 10 个数字的各种手写数字图片，从而实现前面所说的 N 大于 M 。
伊利亚很快发现，想要达到这个效果的诀窍就是创建混合有多个数字特征的图像，然后为它们打上 “软标签（让一个数据点同时成为多个类别成员的矢量表示）” ，再来用这些样本训练人工智能模型（类似于前文的马 + 犀牛混合体）。
“你可以想象一下数字 3 ，它看起来有点像 8 ，但一点都不像 7 。 ” 伊利亚说。
文章插图
“软标签的目的在于标注这些共同的特征，进而以这种方式增加信息密度和维度。因此，相比于直接告诉模型这个图像是 3 ，我们会说，这个图像有 60% 可能是 3 ， 30% 可能是 8 ， 10% 可能是 0 。 ” 使用这种数据训练出的模型，基本可以达到与常规训练方式一样的精度。
“少于一个” 样本学习的局限性当伊利亚和导师成功地使用软标签在 MNIST 上实现 “少于一个” 样本学习后，他们开始思考这个方法能否用于更广阔的领域。人工智能模型从小样本中可以识别出的类别数量是否存在上限？
答案是否定的。
从理论上来看，使用精心设计的软标签，甚至只用两个示例就可以承载任意数量的类别信息。伊利亚说：“通过两个数据点，你就可以分离出一千个，一万个，甚至是一百万个类别。 ”
伊利亚和导师通过纯数学方式的推导，在论文中证明了这一点。他们使用一种最简单的机器学习算法 ——K-近邻算法（kNN）来表述这一概念，该算法使用图形方法来为对象分类。值得注意的是，他们在 kNN 算法的基础上进行了开发，并将最终的算法称为 SLaPkNN（soft-label prototype kNearest Neighbors）。
在进一步说明之前，有必要以水果分类任务为例，简单说明 kNN 算法的核心逻辑。
假设我们要训练 kNN 模型识别苹果和橙子，你必须先确定每个水果的特征，这里以颜色（X 轴）、重量（Y 轴）为例。这样你就可以将多个苹果和橙子的信息输入 kNN 模型。
kNN 算法会将所有数据点绘制在一张二维图表上，并在苹果和橙子分布点的中间地带绘制边界线。
文章插图
图 | kNN 算法原理。由图可见，坐标轴上分布着红苹果、青苹果和橙子的数据点。当模型需要判定黑色点属于哪种水果时，它会依据蓝色框选区域内的色彩分布，将比例最大的橙色判断为 “邻近” ，进而将黑色点归类为橙子。
为了将 kNN 算法应用于 “少于一个” 样本学习，伊利亚和导师创建了一系列微型的合成数据集，并精心设计了它们的软标签。
然后，他们让 kNN 算法绘制了它从样本中看到的边界线，发现它成功地将样本分成了比数据点更多的类别。
文章插图
图 | 上图中，有两个实例可以调节机器学习模型（用黑点表示）。经典的 kNN 算法会在两个点和类别之间分界。但 SLaPkNN 算法在两个类别之间创建了一个新的类别（绿色区域），它代表着一个新标签。这样，研究者用 N-1 个样本实现了 N 类别。
通过对类别边界线的复杂编码和样本软标签的调整，他们让 kNN 算法精确画出不同形状的花朵图案。
文章插图
图 | 作者在论文中炫技。图表上的每个彩色区域代表一个不同的类别，每个图表侧面的饼图则显示了每个数据点的软标签分布。
当然，凡事总有两面，这个方法也有其局限性。
当伊利亚和导师尝试将 “少于一次” 样本学习的方法应用到其他更复杂的算法（如深度学习等）时，他们发现设计软标签的工作变得异常困难。
kNN 算法具有很好的可解释性和可视性，为人们设计标签提供了良好基础。但神经网络是复杂且不可穿透的，这意味着同样的方法未必可行。并且，设计用于 “凝练” 神经网络训练数据的软标签时也有一个主要难点：设计者需要面对庞大的数据集并凝练出有效的内容。
这一工作目前看来不可能全部通过人工完成。伊利亚说，他现在正在研究其他方法来设计这些凝练后的合成数据集 —— 无论是手动设计还是使用其他算法进行设计。