『AI工信科创』百度人工智能技术委员会主席何中军：NLP技术始终走在变革的路上

李冬梅 AI前线

本文插图
采访嘉宾 | 何中军
作者 | 李冬梅
理解和运用自然语言是人工智能需要解决的核心问题之一。随着深度学习技术的发展，语义理解、机器翻译等 NLP 任务都取得了长足的进步。百度在 NLP 领域深耕多年，各项技术也在实际业务中广泛落地。在 AICon 大会即将召开之际， InfoQ 有幸采访了百度人工智能技术委员会主席何中军，听他分享百度 NLP 技术实践以及 NLP 技术未来的发展方向。
百度 NLP 技术的落地实践
诞生之日起，百度就将自然语言处理技术广泛应用于其各个业务中，比如百度搜索、query 改写、分词、专名识别等。随着技术的进步，应用场景不断拓展，自然语言处理技术也发挥越来越重要的作用。百度很早就做了比较全面的布局，涵盖语义理解、人机对话、机器翻译、阅读理解、深度问答、语言生成等重要方向。其中，既有核心技术、前瞻研究，也有应用系统。
语义理解
过去两年，预训练技术在 NLP 领域发展迅速，刷新了 NLP 各类任务的最好结果（SOTA）。百度研发团队看到了预训练技术带来的广阔前景，判断出这项技术将会是 NLP 未来发展的重要方向，也会为公司业务线赋能。因此，在语义理解方面，百度 2019 年研发出了基于知识增强的持续学习语义理解框架 ERNIE 。

本文插图
据何中军介绍，相对于国际上其他的模型， ERNIE 可以持续地学习海量数据中词汇、结构、语义等知识，使得模型效果不断提升，而传统模型主要学习语言的共现，没有对海量数据中的其他丰富知识进行建模。由于对知识的有效利用以及模型的创新， ERNIE 仅用了 1/4 的训练数据和 1/16 的 GPU 资源，在 GLUE 评测中首次突破 90 分，超过了国际上许多其他同类模型。
为了使 ERNIE 在业务中广泛落地，百度又提出 ERNIE 轻量化技术，将其响应时间压缩至千分之一，极大地降低了 ERNIE 性能开销，使得 ERNIE 在工业界得到了大规模应用。当前 ERNIE 在搜索、信息流、小度音箱、智能客服等数十个核心业务上落地，提升了产品智能化水平，帮助人们更加方便、快捷、准确地获取信息。
随着 ERNIE 累计学习知识量的积累，机器资源也面临着巨大挑战。据何中军称， “目前， ERNIE 累计学习知识量已经超过十亿。 ” 为了解决海量数据对机器资源造成的压力，百度研发团队又基于自研的深度学习平台“飞桨” ，研发出了持续学习的预训练算法，使得模型的训练不用每次重启，而是增量的方式进行学习，极大节省了模型训练成本。同时，基于 ERNIE 研发了新一代 NLP 开发平台，帮助开发者迅速将最新技术成果应用于自身业务。
机器翻译
近年来，机器同传结合了语音处理技术和机器翻译技术，无论前瞻研究还是实际系统应用，都取得了较大进展。
去年，百度机器翻译团队创新性地提出了语义单元驱动的机器同传模型，并基于此发布了业内首个语音到语音的同传系统，提供低时延、高质量的同传解决方案。
在谈到百度机器同传在发展过程中遇到的技术难点时，何中军表示：
目前，机器同传面临最大的挑战是如何在翻译质量和时间延迟上取得平衡。与文本翻译不同，同传系统不能等到一个句子说完了再开始翻译，那样就失去了同传的意义。而如果不等待较多的信息，翻译质量就会严重下降。因此，百度从人类同传译员得到启发，提出了基于语义信息单元的同传模型。基本的出发点是将一个有确定意义的片段作为翻译的基本单元，使得模型既能够获得足够的上下文信息，又能保证实时性。此外，百度还结合了语音合成技术，研发了语音到语言的同传系统。如同身边一位虚拟同传译员，带上耳机，就可以听到用自己母语播报出来的演讲内容，获得沉浸式体验。