百度获INTERSPEECH2020竞赛第一 AI诊断早期阿尔茨海默症价值巨大 (全球语音研究领域顶级会议INTERSPEECH

文章插图
(全球语音研究领域顶级会议INTERSPEECH2020)
近日，全球语音研究领域顶级会议INTERSPEECH2020召开，值得一提的是，其中利用口语自动识别阿尔茨海默症的竞赛吸引了包括MIT、首尔大学、德国人工智能研究中心等全球34支队伍参赛;百度研究院89.6%的准确率超越MIT等世界顶级对手，以第一名的成绩摘得桂冠。据了解，百度研究院在竞赛中基于百度知识增强语义理解技术与平台ERNIE做出创新，其模型效果比谷歌BERT更好。百度研究院此次夺冠，不仅为阿尔茨海默症这一广泛存在的顽疾提供了早期诊断的更多可能性，同时也证明了语言模型乃至人工智能在医疗领域的重要价值，为行业实现“AI+医疗”提供了全新的范例和思路。
文章插图
(INTERSPEECH2020百度研究院夺魁阿尔茨海默症的竞赛)
阿尔茨海默症即所谓的“老年痴呆” ，这是一种起病隐匿的进行性发展的神经系统退行性疾病，患者会出现记忆障碍、失语、失用、失认、执行功能障碍以及人格和行为改变等全面性痴呆症状。随着老龄化社会到来，愈多的家庭深受阿尔茨海默症困扰，严重降低老年人的生活质量。医学界认为，阿尔茨海默症的早期诊断非常重要，及时的干预和治疗可以延缓疾病的发展甚至治愈。
INTERSPEECH是由国际语音通信协会ISCA组织的语音研究领域的顶级会议之一，此次大会正聚焦于阿尔茨海默症举办识别竞赛，探索用AI在早期来识别和诊断阿尔茨海默病情的可能性。其中，百度研究院提出的方法是利用语言中的停顿信息，用包含停顿编码的语音转写对Transformer语言模型进行微调，并对多次微调结果做多数表决。
经研究，停顿是阿尔茨海默症的一个重要特征。停顿信息不仅包括停顿的时长和频率，同时还包括停顿出现的位置，比如哪两个词之间或者哪种句法结构中出现停顿。基于此，百度研究院的研究表明在转写中加入停顿编码，利用Transformer语言模型中的注意力机制学习数据中的停顿信息，可有效识别阿尔茨海默症。
文章插图
(图1:停顿编码的流程)
在竞赛过程中，百度研究院首先是对语音和转写做强制对齐，根据强制对齐得到的停顿时长对停顿进行编码。在尝试了两种编码，分别包括三种停顿(3p: <0.5s, 0.5-2s, >2s)和六种停顿(6p: <0.5s, 0.5-1s, 1-2s, 2-3s, 3-4s, >4s)之后，百度研究院再在转写中加入这些编码，如上图所示。
文章插图
(图2:微调的流程)
第二步，百度研究院将识别阿尔茨海默症作为语言模型的一个下游任务，用包含停顿编码的转写对预训练的语言模型BERT和ERNIE进行微调，其流程见上图;最后发现，通过微调预训练模型得到的分类结果有较大的不稳定性。为克服这一问题，百度研究院又采用了多次微调并对结果做多数表决，有效提高了算法的稳定性和准确率。
此次对阿尔茨海默症停顿特征的研究工作中，百度ERNIE做出了巨大贡献;基于ERNIE ，百度研究院算法的识别准确率得到了有效提升。结果(下表)显示结合停顿编码和百度ERNIE语言模型得到的准确率最高，优于只使用转写(0p ，不包含停顿) ，也优于BERT语言模型。
文章插图
(表1:在测试集上的结果)
百度文心(ERNIE)是依托百度深度学习平台飞桨打造的语义理解技术与平台，集先进的预训练模型、全面的NLP算法集、端到端开发套件和平台化服务于一体，为企业和开发者提供一整套NLP定制与应用能力;其中ERNIE预训练模型开创性地将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的新知识，实现模型效果不断进化，如同人类持续学习一样。并且百度还将此项世界领先的NLP技术成果开放给业界，降低了NLP技术的准入门槛，让各大产业都能快速拥有构建和应用文本智能的能力，为产业智能化提供了全新的加速度。