百度万亿级图检索引擎！四大预训练模型开源，还“发糖”15亿元金磊梦晨发自凹非寺量子位报

金磊梦晨发自凹非寺量子位报道|公众号QbitAI
又一年520 ，又一年情……
Stop！不是这种打开方式。
瞧~同样是为了“过节” ，却吸引了五湖四海的开发者聚集在此。

文章图片
这就是已经“约定俗成”的深度学习开发者盛会——WAVESUMMIT2021 。
而百度飞桨，作为国产最大深度学习平台，同样也在520这样的日子，给开发者们带来了不少“糖”吃：
发布全新飞桨开源框架2.1版本发布全新大规模图检索引擎开源文心ERNIE四大预训练模型全新发布推理部署导航图……除此之外，还有15亿元资金，其中10亿要“发”给10万家企业和百万产业AI人才。
与以往不同，此次峰会揭示了一种全新定调——大融合、大创新。
百度首席技术官王海峰表示：
从技术的角度，多技术融合创新，知识与深度学习相结合，突破了知识增强的深度语义理解，在参数规模相同的情况下效果大幅提升，可解释性更强。
从平台的角度，深度学习平台与芯片软硬一体融合创新，面向不同硬件配置的各种生产环境，满足不同算力、功耗、时延等的多样化需求，取得AI应用的最佳效果。
从产业的角度，人工智能技术越来越深入与产业融合，以产业需求为牵引，持续打磨AI技术及平台能力，与应用场景融合创新发展。

文章图片
△百度首席技术官，王海峰
此外，降低AI门槛，也是此次峰会的另一重点，是加快多样性和产业进程的核心。
而之于融合创新和降低AI门槛，如何把AI价值带入到产业中，实现高效率高质量的大生产，百度集团副总裁吴甜认为：
AI工业大生产首先在企业生产活动中逐阶段实现，进一步发展，将会从企业内部的多人多任务分工协同，走向全社会的AI大生产大协同。

文章图片
△百度集团副总裁，吴甜
接下来，便来一文看尽WAVESUMMIT2021 。
六大全新发布
飞桨开源框架2.1版本
作为国产最大的深度学习平台，在此次峰会中，再次迎来升级——2.1版本。
划重点！
四大功能着重优化：
集自动混合精度优化：以ResNet50和BERT为例，启动该功能后，训练速度可提升3倍。动态图功能增强：新增inplace操作功能，显存占用降低17%；优化Python/C++交互开销，训练速度提升10% 。高层API：新增支持GPU预处理、混合精度和模型共享机制。尤其是在自定义算子功能上的升级，让开发者自定义算子的学习、开发成本大幅降低，也大大提高了开发的灵活性。由此，也就展开了此次2.1版本升级后，百度飞桨的一张全景图。

文章图片
而在这张全景图中，除上述核心框架开发功能优化之外，百度飞桨此次的升级，还远不止于此。
大规模图检索引擎
此次百度飞桨2.1版本，在分布式训练方面的发布，便是大规模图检索引擎，核心亮点如下：
支持万亿边的分布式图存储和检索，支持线性扩展。
例如在与网易云音乐的合作过程中， “主播推荐”便用到了该功能。
支撑了十亿边图模型训练，有效地解决了冷启动问题，提高了主播推荐场景的有效播放率。

文章图片
不难看出，大规模图检索引擎的发布，让百度飞桨具备更强的产业场景应用特性。
文心ERNIE四大预训练模型开源
框架层之后，便是模型套件层方面。
开源了文心ERNIE的四大预训练模型：
ERNIE-Gram：提出显式的n-gram掩码语言模型，通过引入多粒度语言知识增强预训练模型效果，在5项典型中文文本任务中领先。 ERNIE-Doc：针对篇章长文本建模不充分问题，提出回顾式建模技术和增强记忆模型机制，在13项长文本理解任务上取得领先效果。 ERNIE-ViL：针对跨模态理解难题，基于知识增强思想，实现了融合场景知识的跨模态预训练，在5项跨模态理解任务上取得效果领先ERNIE-UNIMO：进一步增强不同模态间的知识融合，通过跨模态对比学习，同时提升跨模态语义理解与生成、文本理解与生成的效果，在13项跨模态和文本任务上实现领先。