知否▲还能观察四维时空，人工智能不只能看平面世界( 三 ) 作者|乐邦

在此基础上，阿姆斯特丹的研究人员继续进行归纳。这就是他们如何实现规范等变的过程。
“等变”思维延伸
物理学和机器学习有一个基本的相似之处。正如科恩所说， “这两个领域都与观察和建立模型来预测未来观察结果有关。 ”他指出，至关重要的是，这两个领域都不是在寻找单个物体的模型——给予氢原子和颠倒的氢原子不同的描述，并不好——而是在寻找一般范畴的物体的模型。 “当然，物理学在这方面是相当成功的。 ”
等变化(物理学家喜欢用“协方差”)是自爱因斯坦以来的物理学家用来归纳他们的模型的一种假设。 “这就意味着，你对一些物理现象的描述，应该与你使用什么样的‘标尺’无关，也与你是什么类型的观察者无关。 ”阿姆斯特丹大学理论物理学家米兰达·郑（MirandaCheng）说。或者正如爱因斯坦本人在1916年所说的那样：“自然的一般规律是由适用于所有坐标系的方程来表达的。 ”

文章图片
阿姆斯特丹大学理论物理学家米兰达·郑
通过利用了这一原理的一个简单例子——“平移等变”——卷积网络成为最成功的深度学习方法之一。发现图像中的某个特征（如垂直边缘）的窗口过滤器会在像素平面上滑动(或“平移”) ，并对所有的这些垂直边缘的位置进行编码；然后，它会创建一个标记这些位置的“特征图谱” ，并将其传递到网络中的下一层。由于平移等变，创建特征图谱是可能的：神经网络“假设” ，相同的特征可以出现在二维平面的任何地方，并且能够将垂直边缘识别为垂直边缘，无论它在右上角还是左下角。
“等变神经网络的关键在于，把这些明显的对称性放到网络结构中。 ”韦勒说。
2018年，韦勒、科恩和他们的博士生导师马克斯·韦林已经将这种理念扩展到了其它的等变种类。他们的“群等变”卷积神经网络可以发现平面图像中的旋转或反射特征，无需就那些定向的特征的具体例子进行训练；球形卷积神经网络可以根据球体表面的数据创建特征图谱，而且不会将其扭曲为平面投影。
这些方法仍然不够通用，无法处理具有凹凸不平、不规则结构的流形方面的数据——这些结构描述了几乎所有物体的几何结构，从土豆到蛋白质，再到人体，再到时空曲率。这些类型的流形不具有“全局”对称性，因此神经网络无法对其进行等变假设：它们上面的每个位置都是不同的。
挑战在于，在平面上滑动平面过滤器可以改变过滤器的方向，具体取决于其选择的特定路径。不妨设想一个被设计来发现简单的模式的过滤器：左侧是一个黑色的斑点，右侧是一个浅色的斑点。在平面上将它向上、向下、向左或向右滑动，它会始终保持右侧朝上。但在球面上，这种情况会发生改变。如果你把过滤器在球体的赤道周围移动180度，过滤器的方向将保持不变：左侧是黑点，右侧是浅色点。然而，如果你让它先穿过球体的北极，再将它滑动到相同的位置，过滤器就颠倒了——右侧是黑点，左侧是浅色点。过滤器不会在数据中发现相同的模式，也不会编码出相同的特征图谱。在一个更复杂的流形上移动过滤器，它可能会指向任意的不一致的方向。
幸运的是，物理学家们已经解决了同样的问题，并找到了一个解决方案：规范等变。
韦林解释说，关键是要忘记跟踪过滤器在不同路径上移动时的方向变化。相反，你可以只选择一个过滤器方向，然后定义一种一致的方式来将所有其他的方向转换成它。
问题是，虽然初始取向时可以使用任意的计量指标，但在将其他的指标转换为那个参照系时，必须要保留基本模式——就像将光速单位从米/秒转化为英里/小时的时候，必须保留基本的物理量。韦林说，通过这种规范等变方法， “实际的数字会改变，但它们的变化是完全可预测的。 ”