财经前线看点干货！信雅达新一代AI+智能外呼机器人技术揭秘

【财经前线看点干货！信雅达新一代AI+智能外呼机器人技术揭秘】
_本文原题：干货！信雅达新一代AI+智能外呼机器人技术揭秘
近期，信雅达新一代AI+智能外呼机器人已在浙商银行正式上线。想知道最新一代智能外呼机器人到底运用了什么新技术吗？相信这篇技术详解一定会让你大呼过瘾~

本文插图
01 采用Sparse Self Attention构建模型
对于外呼机器人、智能客服这类对响应时间有着严格要求的系统和场景，在实际生产过程中，自然少不了对更加快速、稳定的计算，以及用少量的算力、较少的资源损耗获取更好运行效果的极限追求。
而如今NLP领域中， Attention大行其道，其核心在于K、Q、V三个向量序列的交互融合，其中Q、K的交互给出了两两向量之间的某种相关度（权重），而最后的输出序列则是把V按照权重求和得到的。
那么问题来了，即使是目前较为主流的Self-Attention的理论计算时间和显存占用量都是O(n2)级别的，这也意味着如果序列长度变成原来的2倍，显存占用量就是原来的4倍，计算时间自然也就是原来的4倍！当然，假设并行核心数足够多的情况下，计算时间未必会增加到原来的4倍，但是显存的4倍却是实实在在的，无可避免。
为了解决以上问题，信雅达金融大数据研究院在智能外呼意图识别算法模块构建过程中，放弃传统的Self-Attention ，采用Sparse Self Attention构建模型。
通过Top-k选择，将原有的Attention退化为稀疏Attetion ，简单从注意力矩阵上看，就是除了相对距离不超过k的、相对距离为k,2k,3k,…的注意力都设为0 ，这样一来Attention就具有“局部紧密相关和远程稀疏相关”的特性。
通过这种方式，可以保留最有助于引起注意的部分，并删除其他无关的信息，这在实际的使用过程中也起到了意想不到的效果。经过研究院测验，这种选择性方法在保存重要信息和消除噪声方面是有效的，可以确保注意力可以更多地集中在最有贡献的价值因素上。
同时，在实际生产过程中，由于外界噪声和ASR的转义问题，经常会在文本中引入不必要的噪声。 Sparse Self Attention在处理这方面问题上，获得了良好的效果。
02 知识蒸馏
随着预训练模型技术的发展，譬如Bert、XLNET、GPT-3的出现，使得AI技术对人类认知的探索更进一步。尤其是最近大火的GPT-3 ，作为单项语言模型训练的代表， GPT-3的模型尺寸达到了恐怖的1750亿，在45TB的训练数据加持下，解决了业界常用的Bert预训练模型的领域内标签数据依赖以及领域数据分布过拟合，目前GPT-3的Few-shot在部分NLU任务上超越了当前SOTA 。
虽然预训练模型在很多业务场景表现优异，但是其模型参数过大、预测时延较长、运行硬件成本较高的问题也导致了模型很难落地。因此，如何对预训练模型进行模型压缩，成为工业界和学术界共同关注的问题。
为了能够使用业界领先的预训练模型，信雅达金融大数据研究院的数据科学家们采用了知识蒸馏模型压缩技术，使预训练模型在外呼项目中得到了高效利用。
在原始模型训练阶段，研究院的数据科学家们基于预训练模型Bert+深度神经网络进行构建网络结构，并将基于样本训练的教师模型（Net-Teacher）的Class Probabilities作为压缩模型训练的损失函数输入来参与后续知识蒸馏训练过程。
在知识蒸馏阶段，研究院的数据科学家们基于相同的样本进行Net-Student模型的蒸馏训练，对蒸馏温度进行合适的选取。在整个训练阶段， Net-T输出soft-target ， Net-S同时输出soft-predictions和hard-predictions；将Net-T的soft-target与Net-S的soft-prediction对应的交叉熵相加，作为整个模型损失函数的Lsoft部分，同时将Net-S的hard-prediction与ground-truth的交叉熵作为整个模型损失函数的Lhard的部分，通过反向传播的训练方法进行整个模型的训练，直到训练停止，完成整个知识蒸馏过程。