广告系统位置偏差的CTR模型优化方案( 七 )

DPIN-Transformer的效果说明了丢失其他位置的用户兴趣会影响模型的性能，因为这将损失大部分用户兴趣信息。对比DPIN和DPIN+ItemAction ，我们发现DPIN的模型性能接近于这个暴力方法，说明DPIN模型逼近了我们方法的理论上界。最终，相较于我们的线上基线模型DIN+PosInWide ， DPIN取得了2.98%的AUC增益和1.07%的PAUC增益，这在我们的业务场景中是一次极大的AUC和PAUC提升。
为了确保我们的方法能够学习位置偏差而不是单纯地过度拟合系统的选择性偏差，我们进一步在随机流量上评估我们的方法。表1的结果表明了在常规流量和随机流量上不同方法之间的差异是一致的，这说明了就算系统的推荐结果有了巨大的差异，该模型仍能有效地学习到在不同用户及上下文中的位置偏差，模型学到的位置偏差受系统推荐列表的影响很小，这也说明我们的模型可以不受系统选择性偏差的影响从而泛化到其他推荐方法的流量上。

本文插图
图5 不同的方法下服务延迟随着不同候选广告数量的变化图
我们从数据集中检索出一些具有不同候选广告数量的请求，以评估不同候选广告数量下的服务性能。如图5所示，由于用户序列操作的延迟在服务延迟中占了很大比例，因此与DIN模型相比，位置组合模块服务延迟可以忽略不计。 DPIN的服务延迟随着广告数量的增加而缓慢增加，这是因为相比较于DIN ， DPIN将用户序列从基础模块移动到深度位置交叉模块，而深度位置交叉模块的服务性能与广告数量无关。与DIPIN+ItemAction方法相比， DPIN在服务性能方面有了很大的改进，对模型性能的损害很小，这表明我们提出的方法既高效又有效。
我们在线上部署了A/B测试，有稳定的结果表明，与基线相比， DPIN在CTR上提高了2.25％，在RPM（每千次展示收入）上提高了2.15％。如今， DPIN已在线部署并服务于主要流量，为业务收入的显着增长做出了贡献。
在本文中，我们提出了一种新颖的深度位置交叉网络模型（Deep Position-wise Interaction Network）以缓解位置偏差问题，该模型有效地组合了所有候选广告和位置以估算每个广告在每个位置的点击率，实现了离线和在线之间的一致性。该模型设计了位置、上下文和用户之间的深层非线性交叉，可以学习到不同用户、不同上下文中的位置偏差。为了评估位置偏向问题，我们提出了一种新的评估指标PAUC ，离线实验表明，所提出的DPIN的效果和效率均优于已有方法。目前， DPIN已部署到美团搜索关键词广告系统并服务于主要流量。
值得一提的是，我们的并行组合思想不仅可以用在广告和位置的组合上，也可以用在广告和创意的组合等广告领域常见的组合排序问题。在未来，我们将在这些问题上继续实践我们的方法，并进一步地设计更完善的网络结构来解决类似的组合排序问题。我们也将在偏差领域上进行更多的探索，解决更多的问题，进一步维护广告系统的生态平衡。