复杂网络动力学机器学习自动建模( 二 ) 导语对复杂网络动力学的学习

相关工作人类对复杂系统的探索从未停止，在熟练使用复杂网络这一套工具之前，我们就在探寻支配着我们这个世界的机制，通过对行星数据的分析发现万有引力定律便是一个极好的例子。而在探索系统动力学规则的道路上，微分方程的引入大大增强了我们对连续时间系统的表示能力，优美的洛伦茨蝴蝶作为第一个混沌模型，为我们认识混沌打开了一扇新的大门。近年来，网络和机器学习也被结合使用，来理解复杂系统。在时间间隔确定的数据驱动问题上，人们做了很多尝试，结合图网络和循环神经网络优势的GraphRNN便是一个很好的例子。然而，我们对世界的观察并不总是确定时间间隔的，实际上，确定时间间隔是特例，任意时间间隔才是更加普遍的情况。而本文将在上述的进展之上，提出一个统一的模型来解决网络上的连续时间动力学预测问题。同时也会在确定时间间隔的预测问题和半监督分类问题上取得优秀的效果。
基本思路文章的基本思路并不复杂：我们常用微分方程来刻画动力系统。近几年以来，我们也常用图神经网络来描述网络结构上的系统动力学，因此，本篇文章将结合微分方程和图神经网络各自的优势，提出名为NDCN（Neural Dyanmics on Complex Networks）的模型。
具体而言，将微分方程与图神经网络结合最大的特点之一，便是将离散时间预测变为了连续时间预测。也就是说，在原神经网络的框架下，我们只能根据t时刻的状态去预测t+1时刻的节点状态。而在NDCN的框架下，我们可以根据初始时刻的状态，去预测未来任一时刻的节点状态，如下：
文章插图
在上式中， X(0)表示初始时刻的节点状态， X(t)则表示t时刻的节点状态，在NDCN的框架下，从0时刻到t时刻无需经过多步迭代，而是需要对动力学进行从0到t的积分，如上式所示，而积分的内容，也就是动力学部分则会被图神经网络学习。
此外，本文的另一创新之处在于，文章没有直接显式的学习动力学，而是将信息投影到了隐藏空间进行学习，这样可以进一步增强模型的表达性。
算法框架我们可以通过下图来展示本文所提出的算法框架：
文章插图
图：NDCN的运转框架图示
上图描述了NDCN的算法框架运转流程，我们可以看到，算法的输入是t时刻的节点状态X(t) ，而输出则是经过δ时间后的节点状态，算法首先会将输入状态映射到隐藏空间，然后在隐藏空间建模节点之间的影响和信息扩散的动力学，这一部分便是通过图神经网络来完成的，通过对t到t+δ这一段时间内的动力学进行积分，我们便能够得到输出状态。
实验可以注意到，本文所提出的模型，实际上是多种技术的组合：若不引入将原始特征空间映射到隐藏空间的encoding-decoding层的话，本模型将会退化为ODG-GNN模型，若不引入图结构的话，本模型将会退化成神经微分方程模型，而若不引入控制参数，本模型又会退化为物理中的确定性模型。因此，为了验证这种组合是否真正合理有效，本文将首先去“拆除”模型的一些组成模块，去观测它们是否影响了最终结果的准确性。
文章插图
上表展示了去掉不同模块后，准确率的变化情况。表格的三行分别表示了三种典型的网络上的动力学，它们分别被常用于描述物理中的热扩散过程，生态系统中的物种影响和生物学中的基因调控过程。而表格的六列则表示了不同的底层网络结构。可以看到，无论去掉哪一个模块，无论在哪种网络结构或动力学方程的情况下， NDCN都将会呈现出准确率的下降，因此， NDCN的每个模块都有其意义，都对准确地建模网络上的动力学有所帮助。
实验：结构化的序列预测问题
结构化的序列预测问题是指我们在拥有对节点数据以相同时间间隔采样的数据下，去预测未来时刻的节点状态。而在这个实验中，本文选取的是非常适合这一类任务的图神经网络结合卷积神经网络的模型。我们知道，卷积神经网络有多种，其中RNN是最为基础的一种， GRU要稍稍复杂一些， LSTM的参数则会更多。在这里本文分别对比了以上三种循环神经网络和GNN结合的模型。实验结果如下表所示：