如何斩获KDD Cup两冠一季？美团广告团队公开解决方案( 四 )

本文插图
图 8：自动化特征工程
在模型方面，他们尝试了 LightGBM、Wide&Deep、时序模型等，最终由于 LightGBM 在 tabular 上的优异表现力，选择了 LightGBM 。在模型训练中，该团队使用商品流行度加权损失来消除流行度偏差，损失函数 L 参见下式。其中，参数 α 与流行度成反比，以削弱流行商品的权重，消除流行度偏差。参数 β 是正样本权重，用来解决样本不平衡问题。
3. 用户偏好排序
最终，用户的商品偏好排序是通过用户的历史点击商品来引入 i2i ，继而对 i2i 引入的所有商品形成最终的排序问题。在排序过程中，根据图 7 所示， target item 集合是由每一个 source item 分别产出的，所以不同的 source item 以及不同的多跳游走 i2i 关系可能会产出相同的 target item 。
因此，我们需要考虑如何将相同用户的相同 target item 的模型打分值进行聚合。如果直接进行概率求和会加强流行度偏差，而直接取均值又容易忽略掉一些强信号。最终，该团队对一个用户多个相同的 target item 采用最大池化聚合方式，然后对用户的所有 target item 进行排序，该方法在 NDCG@50_half 上取得了不错的效果。
为了进一步优化 NDCG@50_half 指标，该团队对所得到的 target item 打分进行后处理，通过提高低流行度商品的打分权重，来进一步打压高流行度的商品，最终在 NDCG@50_half 上取得了更好的效果，这其实是 NDCG@50_full 与 NDCG@50_half 的权衡。
评估结果
在基于多跳游走的 i2i 候选样本生成过程中，各种 i2i 关系的 hitrate 如表 2 所示。可以发现，在相同长度为 1000 的截断下对多种方法做混合会有更高的 hitrate 提升，能够引入更多无偏数据来增大训练集和候选集，从而缓解系统的选择性偏差。

本文插图
表 2：不同 i2i 关系的 hitrate
最终，由美团搜索广告团队组建的 Aister 在包括 NDCG 和 hitrate 的各项评价指标中都取得了第 1 名。如表 3 所示， NDCG@50_half 比第二名高出 6.0% ， NDCG@50_full 比第二名高出 4.9% ， NDCG@50_half 相较于 NDCG@50_full 有更明显的优势，这说明该团队针对消除偏差问题做出了更好的优化。

本文插图
表 3：不同参赛团队解决方案的 NDCG 评估结果
AutoGraph 赛题
赛题介绍与问题分析
KDD Cup AutoGraph 赛题是有史以来第一个应用于图结构数据的自动化机器学习（AutoML）挑战，参与者需设计一个解决方案来自动化进行图表示学习问题。
传统做法一般利用启发法从图中提取每个结点的特征，而近些年来，研究者提出了大量用于图表示学习任务的复杂模型（如图神经网络），使许多下游任务取得了最新成果。然而，这些方法需要投入大量的计算和专业知识资源，才能获得令人满意的任务性能。
而 AutoML 是一种降低机器学习应用人力成本的有效方法，在超参数调整、模型选择、神经架构搜索和特征工程方面取得了巨大成功。如何将 AutoML 应用于图表示学习任务也是业界关注的热点问题。
本次 AutoGraph 竞赛针对自动化图表示学习这一前沿领域，选择了图结点多分类任务来评估表示学习的质量。竞赛官方准备了 15 个图结构数据集， 5 个供下载以便离线开发解决方案， 5 个评估公共排行榜得分， 5 个评估最终排名。这些数据集均从真实业务中收集，每个数据集提供了图结点 id 和结点特征、边和边权信息，以及数据集的时间预算。参赛者必须在给定的时间预算和算力内存限制下设计自动化图学习解决方案。每个数据集会通过精度来评估准确性，最终排名基于 5 个测试数据集的平均排名。