「」一文梳理主流的排序模型，浅谈深度学习在花椒直播排序算法中的应用( 四 )

FM和deep部分共享embedding层，双边共同更新权重矩阵。这种share bottom的思想在后面模型中也很常见。

DCN
想要得到任意高阶的特征交叉组合，而不仅仅是二阶，但是又要避免产生组合爆炸的维数灾难，导致网络参数过于庞大而无法学习，同时也会产生很多的无效交叉特征，需要设计一种有“压缩”能力的，并且足够高效的网络结构。 DCN就是其中的一种：
【「」一文梳理主流的排序模型，浅谈深度学习在花椒直播排序算法中的应用】

本文插图
向量交叉方式如下：

本文插图

在保留了MLP结构的基础上，还额外引入了cross layer network ，理论上可以表达任意高阶组合，同时每一层保留低阶组合，参数的向量化以及独特的网络结构也控制了模型的复杂度是线性增长的，不至于随着交叉阶数的增大而发生维度爆炸。
但在xDeepFM论文中指出,DCN的特征交叉是限定在一种特殊的形式上的，并且还是以bit-wise的方式构建的。

xDeepFM
xDeepFM模型是自动构建交叉特征且能够端到端学习的集大成者，它有效的解决了DCN中提到的问题，实现自动学习显式的高阶特征交互，同时使得交互发生在向量级上。

本文插图
模型设计了一种独特的CIN结构，经过外积、卷积等操作来提取特征的交叉。

本文插图
并且可以通过控制CIN的层数来显式控制特征交叉的阶数，并且计算的时空复杂度是线性增长的，而不会出现组合爆炸导致参数爆炸而无法训练的情况。

集成的CIN和DNN两个模块能够帮助模型同时以显式和隐式，元素级和向量级的方式学习任意高阶的特征交互，并且保持线性复杂度。

DIN

本文插图

特点在于拿到当前物品以及用户所有交互过物品的embedding ，之后通过attention network ，对每个兴趣表示赋予不同的权值，之后进行weighted sum ，得到一个汇总的embedding作为针对当前物品的用户兴趣的表示，相当于增加了一步自动特征选择。
也反映了模型是服务于场景的这一理念。先观察到用户兴趣的多峰分布以及部分对应的数据特点，再因地制宜的提出合适的模型进行拟合。

小结

本文插图
2. 多任务类模型
推荐系统的多目标优化，是目前业界的主流之一，也是很多公司的研发现状。以花椒直播为例，可以优化的目标有点击、观看、送礼、评论、关注、转发等等。
多任务模型旨在平衡不同目标的相互影响，尽量能够做到所有指标同步上涨，即使不能，也要尽量做到在某个优化目标上涨的情况下，不拉低或者将尽量少拉低其它指标，力求达到全局最优的效果。
这里主要介绍ESMM和MMOE两个模型。
ESMM
论文指出，完整的日志流程应该包括：

本文插图
样本空间如下图所示：