#影客网络科技#如何利用物理思想帮助机器“升维学习”？( 三 ) 如何利用物理思想帮助机器“升维学习”

同时，塔科·科恩和他在阿姆斯特丹的同事开始从相反的方向着手解决同一问题。 2015年，当时还是研究生的科恩没有研究如何将深度学习“带离平地” 。相反，他对一个他认为的实际工程问题很感兴趣：数据效率，或者如何用比少于通常需要的数千或数百万个示例来训练神经网络。科恩说：“深度学习方法是非常缓慢的学习者。 ”如果你正在训练卷积神经网络来识别猫（从互联网上无休止地提供猫的图像），那么这几乎没有问题。但是，如果你希望网络检测到更重要的内容（例如肺组织图像中的癌症结节），那么找到足够的训练数据并非一件易事——这需要数据在医学上有很好的准确性，已经被很好地贴标签分好类，并且没有隐私问题。训练网络所需的示例越少越好。
科恩知道，一种提高神经网络数据效率的方法是预先给数据某些假设。例如，即使肺肿瘤在图像中旋转或翻转，它仍然是肺肿瘤。通常，要想让卷积网络学会这一点，必须从头开始，用许多“不同方向的同一物体”这样的例子来训练它。 2016年，科恩和韦林合著了一篇论文，定义了如何将“几何对称”这样的假设编码为神经网络。这种方法行之有效， 2018年，科恩和共同作者玛丽莎·温克尔斯（MarysiaWinkels）进一步推广了该方法，将其应用在CT扫描中，用于识别肺癌，得到了很好的效果：他们的神经网络仅使用训练其他网络所用数据的十分之一，即可得到该疾病的可见证据。
阿姆斯特丹的研究人员还在不断推广。这就是他们的通往规范不变性之路。
拓展不变性
物理和机器学习具有基本的相似性。正如科恩所说：“两个领域都涉及进行观测，然后建立模型来预测未来的观测。 ”他指出，至关重要的是，这两个领域都不在于寻求单个事物的模型。对氢原子有一种描述，对颠倒的氢原子有另一种描述，这是不可取的，这应当去描述属于同一类别的东西。 “当然，物理学在这方面已经非常成功。 ”
自爱因斯坦以来，物理学家们用等方差（或“协方差” ，物理学家偏爱的术语）这一假设来推广他们的模型。阿姆斯特丹大学的理论物理学家米兰达·程（MirandaCheng）解释说：“这只是意味着，如果要描述某种物理的规则，那么它应该与你使用哪种‘标尺’ ，或更笼统地说，你是什么样的观察者无关。 ”她与科恩等人撰写了一篇论文，探讨了物理学与等规卷积神经网络之间的联系。就像爱因斯坦本人在1916年所说的那样：“自然的一般定律应由对所有坐标系都适用的方程式表示。 ”
阿姆斯特丹大学物理学家米兰达·程。
卷积网络通过利用该原理的一个简单例子“平移不变性” ，成为深度学习中最成功的方法之一。检测图像中特定特征（例如垂直边缘）的窗口过滤器，会在整张图片上滑动（或“平移”），并对所有这些垂直边缘的位置进行编码；然后，它会创建一个标记这些位置的“特征图” ，并将其传递到网络的下一层。平移不变性使得创建特征图成为可能：神经网络“假定”同一特征可以出现在二维平面中的任何位置，并且无论垂直边缘在右上角还是在左下角，都能够将其识别出来。
韦勒说：“等变神经网络的重点就是把这些明显的对称性放入网络体系结构中，这就跟免费的午餐似的。 ”（译者注：机器学习领域有“没有免费的午餐”定理，代表没有最优算法。这里自然引入物理的对称性，使得体系信息增加，更能达到最优化。）
到2018年，韦勒，科恩及其博士导师韦林扩大了“免费午餐”的范围，将其他不变性包括在内。他们的“组等价的”（“group-equivariant”）卷积神经网络可以在无需训练的情况下检测平面图像中的旋转或反射特征；球面卷积神经网络可以根据球体表面上的数据创建特征图，而无需将其变形为平面投影。