智源研究院发布超大规模新型预训练模型“文汇”参数量级达113亿 2020年|新闻记者|介入|模拟

日前，北京智源人工智能研究院（以下简称智源研究院）联合阿里、清华等多家单位发布超大规模新型预训练模型“文汇”，旨在探索解决当前大规模自监督预训练模型不具有认知能力的问题。项目由智源研究院发起的“悟道”攻关团队完成，团队成员包括智源研究院、阿里巴巴、清华大学、中国人民大学、中国科学院等。
与传统AI训练需要人工标注数据不同，面向认知的预训练语言模型提供了一种全新的学习思路，即AI首先自动学习大量语言文字和图像数据，记忆和理解其中的信息以及人类语言表述的规律后，再进一步学习专业领域知识，从而让AI同时掌握常识和专业知识。
此次发布的“文汇”是目前国内规模最大的预训练模型，参数量级达113亿。该模型突破了多模态理解与多模态生成两大难题，可理解文本图像信息，并能完成创造性任务。例如，仅需输入诗歌题目、朝代以及作者，“文汇”即可自动生成仿古诗词。目前，“文汇”已支持基于认知推理的多种自然语言及跨模态应用任务，部分应用即将上线。
【智源研究院发布超大规模新型预训练模型“文汇”参数量级达113亿】据介绍，“悟道”项目研究团队正在视觉等更广泛的范围内，对大规模自监督预训练方法开展探索研究，目前已经启动了四类大规模预训练模型研制，包括“文源”（以中文为核心的超大规模预训练语言模型）、“文汇”（面向认知的超大规模新型预训练模型）、“文澜”（超大规模多模态预训练模型）和“文溯”（超大规模蛋白质序列预训练模型）。