万微科技2016开源聊天机器人 Blender，更具“人情味”，Facebook 不久前

不久前， Facebook开源了号称是全球最强大的聊天机器人Blender ，它标志着Facebook在AI领域的新进展：不仅解决了此前聊天机器人的原有缺点，新的聊天机器人更是拥有史无前例的94亿个参数！
【万微科技2016开源聊天机器人 Blender，更具“人情味”，Facebook】近日， Facebook的人工智能和机器学习部门FacebookAIResearch（FAIR）详细介绍了一个名为Blender的综合人工智能聊天机器人框架。
FAIR声称，目前可以在GitHub上以开源方式获得的Blender ，是有史以来最强大的开放域聊天机器人，它比生成对话的现有方法更有“人情味” 。
FAIR表示， Blender是多年研究的巅峰之作，它将移情、知识和个性结合到一个系统中。为此，受益于改进的解码和技能混合技术的基础模型，包含了多达94亿个参数（定义特定问题上的技能配置变量），是之前系统的3.6倍。
Blender承诺，无论在企业、工业还是面向消费者的环境中， Blender都可以使与Alexa、Siri和Cortana等对话式人工智能系统的交互变得比以往更加自然。这是因为它们能够提问并回答各种各样的问题，展示有关特定主题的知识，并视情况的需要表达出不同的情感，如同情、认真或“好玩”的情绪。
混合技能和生成策略
为了实现Blender最先进的性能， FAIR的研究人员将重点放在两个工程步骤上：混合技能和生成策略。
“混合技能”指的是选择性能优于缺乏调优的较大模型的任务。正如FAIR的研究人员在一篇论文中指出的那样，聊天机器人的改进可以通过对数据模型进行微调来实现，这些模型侧重于可取的会话技巧。事实证明，调优还可以最大限度地减少从大型数据集中学到的不良特征，如毒性等。
在生成策略方面，解码算法（从语言模型生成文本的算法）的选择对聊天机器人的响应有着极大的影响。由于机器人响应的长度往往与人类对质量的判断相对应，因此，解码器的长度最好能达到适当的平衡。太短的回复通常会被人们认为沉闷或表现出缺乏兴趣，而太长的回复则暗示着含糊其辞或分心。

文章图片
图为与Blender聊天机器人的对话。蓝色对话框为Blender的回复。
在这些工程步骤的过程中，研究人员测试了三种类型的模型架构，都以Transformers作为基础。与所有深度神经网络一样， Google的创新产品Transformer包含按层次排列的神经元（数学函数），这些神经元从输入数据中传输信号，并调整每个连接的强度（权重）。这就是它们提取特征和学习预测的方式，但Transformer也有注意力机制。这意味着每一个输出元素都与每一个输入元素相连，它们之间的权重是动态计算的。
首先是一种检索器模型，它给定了一个对话历史（或上下文）作为输入，通过对一大堆候选响应进行打分，并输出得分最高的那一个来选择下一个对话响应。 FAIR的研究人员采用了一种多编码器架构，该架构使用每个候选响应的表征来编码上下文的特征，他们说，与其他架构（如交叉编码器）相比，这种架构在提高了性能的同时，还保持了''易于处理''的计算能力。
第二种模型是一种生成器，它产生响应，而不是从一个固定的集合中检索响应。按大小考虑了三种模型，从9000万个参数，到27亿个参数，再到94亿个参数不等。
第三种模型试图解决生成器的问题，即生成器重复响应和''幻化''知识的倾向。它采用了“检索和提炼”（RetNRef）的方法，即上述的检索模型在提供对话历史时产生一个响应，然后将其附加到生成器的输入序列中。通过这种方式，生成器可以学习到什么时候从检索器中复制响应元素，什么时候不复制，这样它就可以输出更有趣、更有吸引力和更''生动''的响应。 (检索器模型所产生的人写的响应往往比标准的生成器模型包含更多的生动语言) 。