运营商|可以改善图神经网络，提升GNN性能的三个技巧( 二 ) 中国移动|中移动|四川省

总体思路与计算机视觉和自然语言处理领域的概念非常相似。以语言模型 BERT13 为例，该模型经过训练可预测句子中的掩蔽词（这是自监督的，因为它不依赖于标记数据）。我们通常不太关心预测掩蔽词的具体任务。但是生成的词嵌入对于许多不同的任务非常有用，因为模型真的了解特定词之间的关系。
使用自监督任务预训练 GNN 模型节点嵌入，这在有噪声标签的情况下尤其有益，因为自我监督过程提供了更多“标记”示例（因为我们不需要为预训练提供标签）并且可能也不太容易受到噪声干扰11 12 。
如果我们的最终目标是对节点进行分类，可以在整个图上使用链接预测作为自我监督的预训练任务。在链接预测中，我们尝试预测两个节点之间是否存在边（=链接）。因此训练一个 GNN 来区分图中的真实边和人为引入的假边（“链接预测的负采样”）。由于我们只是在图中现有节点之间添加假边并删除真实边，因此可以不依赖任何标记数据。接下来的步骤就是使用来自链接预测 GNN 模型的结果节点嵌入作为另一个节点分类模型的输入。
向模型添加一个自我监督的预训练管道将其 AUC 分数增加了 14% ，这可以说是目前最有效的技巧。
分离前置和下游任务到目前为止，只讨论了在自监督任务（“前置”）上预训练 GNN 并为最终（“下游”）任务使用相同的 GNN 架构。但是其实可以为这两个任务使用不同的模型架构。甚至还可以组合出不同的 GNN 架构。
GNN 层可能无法在各种情况下有效地学习。因此可以使用 GNN 模型通过自监督预训练创建节点嵌入，并将这些嵌入传递给经典机器学习算法或全连接的神经网络层，以完成最终的下游任务。这种架构可用于许多不同的下游任务，例如图分类到节点分类还有回归。
该模型将受益于将访问图中包含的所有信息的能力与非线性流形学习属性相结合。该模型从更简单的机器学习算法中继承了一些好处，例如减少了训练时间和更好的可解释性。文章最初提到的基于树的模型（例如随机森林）在节点分类的下游任务11中表现出特别强的性能，所以我们就从这里开始。
在下面，可以找到包含上面提出的三个想法的最终管道的概述：

该架构代表了我们的最终模型， AUC 得分为 78.1（另一个 + 1.5%），通过 AUC 衡量的性能总提升 17%（基本 R-GCN 模型：AUC = 66.6）11 。
总结在这篇文章中，我们讨论了图神经网络模型的缺点以及提高模型性能的三个主要技巧。结合这些技巧，能够将最终 GNN 模型的 AUC11 提高 17%（对于其他指标甚至更多）。下面我们在总结一下我们的步骤：
如果数据包含边缘特征，并且你认为它们对最终预测任务很有洞察力，可以尝试利用边缘特征。
其次，使用自监督目标对 GNN 模型进行预训练通常有利于最终模型的性能。它可以增加训练示例的数量，有时还可以减少固有噪声。
第三，为前置和最终预测任务测试不同的架构可以提高模型的预测能力。
引用[1
Michael Schlichtkrull Thomas N. Kipf Peter Bloem Rianne van den Berg Ivan Titov and Max Welling. Modeling relational data with graph convolutional networks 2017.
[2
Ziniu Hu Yuxiao Dong Kuansan Wang and Yizhou Sun. Heterogeneous graph transformer 2020.
[3
deepfindr 2020.
[4
Davide Bacciu Federico Errica Alessio Michelia Marco Podda. A Gentle Introduction to Deep Learning for Graphs 2020
[5
Yulei Yang Dongsheng Li. NENN: Incorporate Node and Edge Features in Graph Neural Networks 2020
[6
Federico Errica Marco Podda Davide Bacciu and Alessio Micheli. A fair comparison of graph neural networks for graph classification 2020.
[7
Clement Gastaud Theophile Carniel and Jean-Michel Dalle. The varying importance of extrinsic factors in the success of startup fundraising: competition at early-stage and networks at growth-stage 2019.
[8
Dejun Jiang Zhenxing Wu Chang-Yu Hsieh Guangyong Chen Ben Liao Zhe Wang Chao Shen Dongsheng Cao Jian Wu and Tingjun Hou. Could graph neural networks learn better molecular representation for drug discovery? 2021.
[9
Hoang NT and Takanori Maehara. Revisiting graph neural networks: All we have is low-pass filters 2019.
[10
Petar Veli?kovi? Guillem Cucurull Arantxa Casanova Adriana Romero Pietro Liò and Yoshua Bengio. Graph attention networks 2018.
[11
Carlo Harprecht. Predicting Future Funding Rounds using Graph Neural Networks 2021
[12
Weihua Hu Bowen Liu Joseph Gomes Marinka Zitnik Percy Liang Vijay Pande and Jure Leskovec. Strategies for Pre-training Graph Neural Networks 2019.