如何斩获KDD Cup两冠一季？美团广告团队公开解决方案( 十 )

本文插图
图 18：细粒度匹配网络
该模型的设计主要考虑以下三点：
利用带门全连接网络做语义映射。图片和 query 处于不同的语义层级，需利用函数映射到相同的语义空间，该团队采取两个全连接层的方式达到该目的。实验发现，全连接层的隐层大小是比较敏感的参数，适当增大隐层，可在不过分增加计算复杂度的情况下，显著提升模型效果。此外，如文献所述，使用带门的全连接层可进一步提升语义映射网络的效果。
采用双向 attention 机制。图片和 query 均由更细粒度的子语义单元组成。具体来说，一张图片上可能有多个框，每个框均有独立的语义信息；一个 query 分为多个词，每个词也蕴含独立的语义信息。这一数据特点是由电商搜索场景决定的。因而，在模型设计时，需考虑到单个子语义单元之间的匹配。该团队采用单个词和全部框、单个框和全部词双方向的注意力机制，去捕捉这些子单元的匹配关系和重要程度。
使用多样化多模融合策略。多模信息融合有很多手段，大部分最终归结为图片向量和 query 向量之间的数学操作符。考虑到不同融合方式各有特点，多样融合能够更全面地刻画匹配关系，因此该团队采用了 Kronecker Product、Vector concatenation 和 self-attention 三种融合方式，将经过语义空间转化和 attention 机制映射后的图片向量和 query 向量进行信息融合，并最终送入全连接神经网络，最终得到匹配与否的概率值。
多模融合
在上述技术手段的处理下，可以得到多个基础模型。这些模型均可在验证集上进行 finetune ，从而使其效果更贴近真实分布。一方面， finetune 阶段可继续使用前述的神经网络匹配模型。另一方面，前述神经网络可作为特征提取器，将其在规模较小的验证集上的输出，放入树模型重新训练。这一好处是树模型和神经网络模型异质性大，融合效果更好。最终，该团队提交的结果是多个神经网络模型和树模型融合的结果。
评估结果
以随机采样训练的粗粒度（图片表示为所有框的平均， query 表示为所有词的平均）匹配网络为基准模型，表 10 列出了该团队解决方案各个部分对基准模型的提升效果。

本文插图
表 10：不同方法的 NDCG 提升
总结
KDD Cup 竞赛与工业界联接十分紧密，每年的赛题紧扣业界热点问题与实际问题，历年的 Winning Solution 对工业界也有很大的影响。例如， KDD Cup 2012 获胜方案产出了 FFM (Feild-aware Factorization Machine) 与 XGBoost 的原型，在工业界取得广泛应用。
今年 KDD Cup 的几大赛题也是当前广告与推荐领域中最具挑战性的问题，本文介绍了美团搜索广告团队在 KDD Cup 2020 Debiasing、AutoGraph、Multimodalities Recall 三个赛题上取得两冠一季的解决方案。
Debiasing 赛题解决方案从消除推荐数据偏差的目的出发，进行 i2i 多跳游走、i2i 建模以及 u2i 排序，克服了选择性偏差和流行度偏差两个赛题挑战。
AutoGraph 赛题解决方案将 AutoML 应用于自动化图表示学习中，通过搭建多种图神经网络，并采用快速参数搜索方法以及多级鲁棒模型融合策略，来克服图数据的多样性、超短时间预算以及鲁棒性等三个赛题挑战。
Multimodalities Recall 赛题解决方案通过多样化负采样策略和预训练、蒸馏学习等方法，搭建细粒度匹配网络并采用多模型融合等方法来克服分布不一致问题以及复杂多模信息匹配问题等两个赛题挑战。
这些解决方案多数从数据分析出发来定位赛题难点，找寻赛题突破口，从而设计赛题解决方案来克服赛题挑战。同样地，这种解决问题的思路也有助于美团到店广告团队在广告领域上做进一步的探索。