韭菜花音乐|中科院计算所沈华伟：图神经网络表达能力的回顾和前沿原创蒋宝尚AI科技评论前天作者|蒋宝尚

原创蒋宝尚AI科技评论前天

文章图片
作者|蒋宝尚
编辑|丛末
6月23日，中科院计算所的研究员、智源研究院的智源青年科学家沈华伟老师在第二届北京智源大会上做了《图神经网络的表达能力》的报告。在报告中，沈华伟老师提到：这几年，虽然图神经网络在其他领域大量应用，但“内核”仍然停滞不前，目前设计新图神经网络（GNN）的两种常用方式都在面临理论上的瓶颈。沈华伟老师还对近几年图神经网络表达能力的相关研究进行了梳理，他说：“GNN出现的早期，大家对它表达能力的认识是基于其在半监督学习，尤其是节点分类任务上的优秀表现，一些应用向的研究也只是对图神经网络表达能力经验上的证明” 。基于这个认知，在介绍完图神经网络的基本知识之后，沈华伟老师对图神经网络的表达能力给予了理论上的介绍。以下是演讲全文， AI科技评论做了不改变原意的整理。此文经过沈老师修改。图神经网络过去几年炙手可热，也取得了一系列的突破，但是这两年发展进入了相对停滞的状态。当前更多的研究员是把图神经网络当做一个工具，也即把图神经网络泛化到其他领域进行应用方向的研究。例如早期图神经网络在节点分类、链路预测以及图分类上取得了一些进展之后，很快就用在了其他领域，包括推荐领域、自然语言处理领域等等。其实，图神经网络“内核”仍然停滞不前。为什么呢？因为在设计新GNN的时候通常有两种方式：一是经验性的直觉，二是试错。而这两种方式都会面临理论上的瓶颈。另外，如果只靠试错，那么GNN和深度学习就会同样存在是否“炼金术”的质疑。那么GNN带来的提升究竟来自哪？2019年时， ICLR发表了题为《Howpowerfularegraphneuralnetworks》的文章，掀起了对GNN表达能力的讨论。 1
GNN表达能力的经验性证明
我们今天报告的主题也是讨论GNN的表达能力，看看它到底有什么特色以及限制。

文章图片
在GNN出现的早期，大家的认识是基于其在半监督学习，尤其是节点分类任务上优秀的性能表现，其中以GCN（图卷积网络）为代表。随后，就有研究员将GNN强大的表达能力用在了推理、认知等领域，更有研究员用在了量子化学领域。例如一个水分子式H2O ，它能告诉我们水分子里面有两个氢，一个氧，此表达方式和自然语言处理里面的TF-IDF是一样的，能够看出“词”出现的频次，但没有包含结构信息。而化学分子式另一种表达，画出结构图的模式相当于把分子结构给理清了，于是，研究员开始思考，这“结构图”是否比原来“频次”方式有更好的表达能力，如果有了表达能力，那能否用包含结构、包含节点的方式对分子式的化学特性进行预测。如果能，表达能力自然得到了证明。 GNN方法对比传统密度泛函的分析方法，在算力方面有大幅度的节省。毕竟，密度泛函的分析用模拟的方式进行计算，通常需要高性能计算机进行操作。在现实情况中， GNN确实做到了化学精度以内的预测，用的就是messagepassingGNN的方式。所以，如果能用GNN直接拟合一个模型，从而对任意一个新的分子进行性能预测，自然就体现出来了GNN的表达能力，但这只是经验性表达能力的认识。另外，在《自然》子刊上，也有一些用GNN建模预测的文章发表，例如预测玻璃的动力学特点、预测地震等等。这些案例也都是对GNN表达能力提供了经验性的认知，我们接下来想从理论的角度讨论GNN的表达能力。 2
GNN基本知识
介绍一下基本的知识， GNN的输入是一张图，图中有节点集合，参数包括V、E、W、X等。 GNN早期典型的两类任务是节点分类和图分类，在节点分类任务中， GNN的目的是训练得出网络当中节点的表达，然后根据节点的表达进行下游的任务；在图分类任务中， GNN的目的是要训练得到图的表达，有了图表达之后再对图做分类。在这两个典型的任务中，目前80%、90%的工作都倾向于节点分类，只有少数是图分类。