147页详述结构在神经网络中的复兴,图注意力网络一作博士论文公开

机器之心报道
参与：张倩、蛋酱、魔王
继图卷积网络作者 Thomas Kipf 晒出博士论文之后，图注意力网络的一作 Petar Veli?kovi?接过了接力棒，也在 Twitter 上晒出了自己的博士论文。这些大神是约好了吗？

本文插图
在一项针对 2019 年到 2020 年各大顶会论文关键词的统计中，「图神经网络」的增长速度位列榜首，成为上升最快的话题。
在图神经网络出现之前，尽管深度学习已经在欧几里得数据中取得了很大的成功，但从非欧几里得域生成的数据得到了更广泛的应用，它们也需要有效的分析，由此催生了图神经网络。
图神经网络最初由 Franco Scarselli 和 Marco Gori 等人提出，在之后的十几年里被不断扩展，先后发展出了图卷积网络（Graph Convolution Networks ， GCN）、图注意力网络（Graph Attention Networks）、图自编码器（ Graph Autoencoders）、图生成网络（ Graph Generative Networks）和图时空网络（Graph Spatial-temporal Networks）等多个子领域。
每个子领域都有一些拓荒者，比如前文提到的 Thomas Kipf ，他和 Max Welling 一起开辟了图卷积网络。而今天这篇博士论文的作者 Petar Veli?kovi?是图注意力网络的一作，他和 Guillem Cucurull、Yoshua Bengio 等人一起完成了图注意力网络的开山之作——《Graph Attention Networks》，这篇论文被 ICLR 2018 接收。发布两年后，该论文被引量已超过 1300 。

本文插图
Petar Veli?kovi?现在是 DeepMind 的研究科学家。他于 2019 年从剑桥大学获得计算机科学博士学位，导师为 Pietro Liò 。他的研究方向包括：设计在复杂结构数据上运行的神经网络架构（如图网络），及其在算法推理和计算生物学方面的应用。除了图注意力网络，他还是《Deep Graph Infomax》的一作。在这篇论文中，他和 William Fedus、Yoshua Bengio 等人提出了以无监督方式学习图结构数据中节点表示的通用方法，该论文被 ICLR 2019 接收。
Petar Veli?kovi?的博士论文去年就已经完成，只是最近才跟大家分享。这篇论文的题目是《The resurgence of structure in deep neural networks》，共计 147 页，涵盖了 Petar Veli?kovi?的上述经典工作和其他关于图神经网络的内容，非常值得一读。

本文插图
论文链接：https://www.repository.cam.ac.uk/handle/1810/292230
机器之心对该论文的核心内容进行了简要介绍，感兴趣的读者可以阅读原论文。
摘要
深度学习赋予了模型直接从原始输入数据学习复杂特征的能力，完全去除了手工设计的 “硬编码” 特征提取步骤。这使得深度学习在计算机视觉、自然语言处理、强化学习、生成建模等之前互不相关的多个领域实现了 SOTA 性能。这些成功都离不开大量标注训练数据（「大数据」），这些数据具备简单的网格状结构（如文本、图像），可通过卷积或循环层加以利用。这是由于神经网络中存在大量的自由度，但同时也导致其泛化能力很容易受到过拟合等因素的影响。
然而，还有很多领域不适合大量收集数据（成本高昂或本身数据就很少）。而且，数据的组织结构通常更加复杂，多数现有的方法干脆舍弃这些结构。这类任务在生物医学领域比较常见。 Petar 在论文中假设，如果想要在这种环境下完全发挥深度学习的潜力，我们就需要重新考虑「硬编码」方法——将关于输入数据固有结构的假设通过结构归纳偏置直接合并到架构和学习算法中。