谷歌新模型突破BERT局限：NLP版「芝麻街」新成员Big Bird长这样( 二 )

摘要，顾名思义是从一段长文字中提炼出这段话的核心思想和意义。下面是从三个长文章数据集Arxiv、PubMed和BigPatent中测试的效果。

本文插图
从图中来看，与其他非常先进的NLP模型相比， BigBird极大地提高了摘要任务的各项精度，性能表现非常优异。
不仅如此， Big Bird被证明是图灵完备的，这也就意味着，一切可以计算的问题， Big Bird都能计算，理论上，它能够用来解决任何算法。
此外， Big Bird在基因组数据处理方面也极具潜力。
但虽然如此，也有网友认为，这样的模型与Longformer在概念上并无本质区别，不能算是一个大突破。

本文插图
你怎么看？
作者介绍
论文的两位共同一作是Manzil Zaheer和Guru Guruganesh ，均来自谷歌。

本文插图
△ Manzil Zaheer
Manzil Zaheer ， CMU机器学习博士， 3篇论文曾经发表于NIPs上，除此之外，在ACL和EMNLP等顶会上也发表过相应文章。

本文插图
△ Guru Guruganesh
Guru Guruganesh ， CMU机器学习博士，主要在近似算法、拉姆齐定理、半正定规划等方向有所研究。
传送门
「芝麻街」系列论文列表：
ELMo:https://arxiv.org/abs/1802.05365
BERT:https://arxiv.org/abs/1810.04805
ERNIE:https://arxiv.org/abs/1904.09223
Grover:https://arxiv.org/abs/1905.12616
KERMIT:https://arxiv.org/abs/1906.01604
Big Bird:https://arxiv.org/abs/2007.14062
— 完 —
量子位 QbitAI · ***签约
【谷歌新模型突破BERT局限：NLP版「芝麻街」新成员Big Bird长这样】关注我们，第一时间获知前沿科技动态