神经受控微分方程：非规则时间序列预测新SOTA

机器之心报道
参与：Racoon、魔王、小舟
使用神经微分方程对时间序列的动态进行建模是一个很有潜力的选择，然而目前方法的性能往往受限于对初始条件的选择。这项新研究提出了改进策略，实现了新的 SOTA 性能。
神经常微分方程是对时序动态建模的不错选择。但是，它存在一个基本问题：常微分方程的解是由其初始条件决定的，缺乏根据后续观察调整轨迹的机制。
那么如何解决这一问题呢？来自牛津大学、阿兰图灵研究所和大英图书馆的一项研究展示了，如何通过受控微分方程的数学知识解决该问题。
该研究提出的神经受控微分方程（neural controlled differential equation）模型可直接用于部分观测的不规则采样多变量时间序列的通用设置，（与之前的解决方案不同，）它甚至可以在跨观测的情况下利用节约内存的共轭反向传播（adjoint-based backpropagation）。
该研究在多个数据集上进行了实验，发现该模型超过类似的（基于 ODE 或者 RNN）模型，实现了 SOTA 性能。最后，该研究还提供了理论结果，证明该模型是通用逼近器，且该模型包含了替代性的 ODE 模型。

本文插图

论文链接：https://arxiv.org/abs/2005.08926
代码链接：https://github.com/patrick-kidger/NeuralCDE

引言
循环神经网络（RNN）是处理序列数据（如时序数据）时常用的模型选择。通常将数据本身假定为来自潜在过程的观测序列， RNN 可以被解释为对该过程某些功能的离散近似。然而当数据是不规则采样或者不是完全可观测时，这种离散化方法通常会失效，该问题经常通过丢弃或填充数据来掩饰。一种更佳的方法是意识到，用于对潜在过程建模的模型，应该和该过程一样在时间上是连续的。
因此，针对以上问题，神经微分方程不失为一个较好的选择。然而目前方法的性能往往受限于对初始条件的选择，不能较好地捕捉时变的新数据。这项研究提出一种神经受控微分方程来解决这一问题。
方法
假设有一个完全可观测但很可能是不规则采样的时间序列：

本文插图
其中每一个观测值 x_i 都具有对应的时间戳 t_i ，且

本文插图
。
将

本文插图
定义为在

本文插图
有对应 knot 的神经三次样条（natural cubic spline），于是我们可将其表示为：

本文插图
x 常被假设为对一个过程的离散样本， X 可看作为对该过程的近似表示。神经三次样条处理这类任务有其自身独特的潜力。
将

本文插图
定义为任意以θ为参数的神经网络模型。 w 的值用于描述隐藏状态的大小。
同样，将

本文插图
定义为任意以θ为参数的神经网络模型。
于是，可将神经受控微分方程定义为 CDE 的解：