图神经网络越深，表现就一定越好吗？( 三 )

Michael Bronstein在他最近发表的一篇关于可伸缩初始类图神经网络（Scalable inception-like graph neutral networks, SIGN）的论文里，详尽讲解了如何使用具备多个预计算滤波器（multiple pre-computed filters）的单层线性图卷积结构，并展示了该网络与更复杂数十倍的模型想比，性能不相上下。有趣的是，计算机视觉采取的方法与图深度学习截然相反：早期使用大型滤波器（高达11×11）的浅层卷积神经网络（CNN）结构（比如AlexNet），后来都被使用小型滤波器（一般为3×3）的深度结构所取代了。
5、评估
目前评估图神经网络的常见方法，遭到了Oleksandr Shchur和Stephan Günnemann小组成员的严重质疑。他们聚焦于常见基准的缺陷，并指出简单模型和复杂模型在相同条件下的表现相差无几。
我们观察到的一些与深度结构相关的现象（包括性能随深度加深而降低），可能仅是因为小型数据集的过度拟合。全新的 Open Graph Benchmark能为大规模图像提供严格的训练和测试数据拆分方法，在一定程度上解决了上述的一些问题。作者认为，研究者需要精心设计实验过程，以便更好地了解深度对图深度学习是否有用、以及在什么时候能发挥作用。
via：https://towardsdatascience.com/do-we-need-deep-graph-neural-networks-be62d3ec5c59

本文插图
【图神经网络越深，表现就一定越好吗？】更多交流