Transformer竞争对手QRNN论文解读更快的RNN( 三 )


最近 , 基于QRNN的模型pQRNN在序列分类上仅用1.3M参数就取得了与BERT相当的结果(与440M参数的BERT相对):
Transformer竞争对手QRNN论文解读更快的RNN文章插图
结论我们深入讨论了新颖的QRNN架构 。我们看到了它如何在基于卷积的模型中增加递归 , 从而加快了序列建模的速度 。QRNN的速度和性能也许真的可以替代Transformer 。
作者:Rohan Jagtap
deephub翻译组