品品科技|迎来TCN!股市预测任务是时候拥抱新技术了,告别RNN( 四 )


可变长度输入 。 RNN以循环的方式对可变长度输入进行建模 , TCN也可以通过滑动一维卷积核来接收任意长度的输入 。 这意味着 , 对于任意长度的序列数据 , 都可以用TCN替代RNN 。
使用TCN存在两个明显的缺点:
评估期间的数据存储 。 TCN需要接收有效历史长度的原始序列 , 因此在评估过程中可能需要更多的内存 。
域迁移时可能引起参数更改 。 不同的域对模型预测所需的历史量可能有不同的要求 。 因此 , 当将模型从仅需要很少记忆(即较小的k和d)的域转移至需要更长记忆(即较大的k和d)的域时 , TCN可能因为没有足够大的感受野而表现不佳 。
3.3基准
品品科技|迎来TCN!股市预测任务是时候拥抱新技术了,告别RNN
文章图片
TCN和循环网络在典型的序列建模任务中的评估结果 , 这些任务通常用来评估RNN模型 。
上述结果表明 , 经过最小调优的通用TCN架构在大量序列建模任务中优于典型循环架构 , 而这些任务通常用于对循环架构的性能进行基准测试 。
4.基于TCN的知识驱动股市趋势预测与解释
4.1背景介绍
用于股市趋势预测的大部分深度神经网络存在两个常见缺陷:1)当前方法对股市趋势的突然变化不够敏感;2)预测结果不具备可解释性 。
为了解决这两个问题 , Deng等人2019年提出一种新型知识驱动时间卷积网络(KDTCN)用于股市趋势预测和解释 , 该方法将背景知识、新闻事件和股价数据集成到深度预测模型中 , 以解决股市趋势突变时的趋势预测和解释问题 。
为了解决股市趋势突变下的预测问题 , 该研究将金融新闻中的事件提取出来并结构化为事件元组 , 如「BritainexitingfromEU」被表示为(Britain,exitingfrom,EU) 。 然后将事件元组中的实体和关系链接至知识图谱(KG) , 如Freebase和Wikidata 。 接下来 , 分别对结构化知识、文本新闻和股价数值进行向量化和级联 。 最后 , 将这些嵌入馈入基于TCN的模型 。
实验表明KDTCN可以更快地响应股市突变 , 在股市数据集上的性能优于SOTA方法 , 此外它还增强了股市突变预测的可解释性 。
此外 , 基于股市突变预测结果 , 要想解决可解释性问题 , 我们可以通过知识图谱中事件的关联对事件的影响进行可视化 。 这样 , 我们就可以解释1)知识驱动的事件如何不同程度地影响股市波动;2)知识如何将股市趋势预测中与突变相关的事件关联起来 。
4.2KDTCN模型架构
这里介绍的基础TCN模型架构基于第三部分推导而来 , 通用TCN架构包括因果卷积、残差连接和扩张卷积 。
KDTCN架构如下所示:
品品科技|迎来TCN!股市预测任务是时候拥抱新技术了,告别RNN
文章图片
KDTCN框架图示
原始模型输入为股价X、新闻数据库N和知识图谱G 。 股价经过归一化处理 , 并映射到股价向量:
品品科技|迎来TCN!股市预测任务是时候拥抱新技术了,告别RNN
文章图片
其中每个向量p_t表示股票交易日t的实时股价向量 , T表示时间跨度 。
至于新闻数据库 , 新闻被表示为事件集合ε , 然后被结构化为事件元组e=(s,p,o) , 其中p为动作/谓语、s是执行者/主语、o是动作承受者 。 事件元组中的每个项都与知识图谱链接 , 对应知识图谱中的实体和关系 , 通过训练事件元组和KG三元组获得事件嵌入V 。 详细过程参见https://core.ac.uk/download/pdf/222446995.pdf 。
最后 , 将事件嵌入和股价向量结合并输入基于TCN的模型 。
4.2.1数据集和基线
数据集:
1.时间序列股价数据X:道琼斯工业平均指数每日记录构成的股价数据集;
2.文本新闻数据N:来自RedditWorldNews频道的历史新闻组成的新闻数据集;
3.结构化知识数据G:基于两个常用开放研究知识图谱Freebase和Wikidata的结构化数据构建的子图 。