广告系统位置偏差的CTR模型优化方案( 四 )

2. 深度位置交叉网络（Deep Position-wise Interaction Network）本节主要介绍深度位置交叉网络（Deep Position-wise Interaction Network）（DPIN）模型。如图4所示， DPIN模型由三个模块组成，分别是处理个候选广告的基础模块（Base Module），处理个候选位置的深度位置交叉模块（Deep Position-wise Interaction Module）以及组合个广告和个位置的位置组合模块（Position-wise Combination Module），不同模块需预估的样本数量不一样，复杂模块预估的样本数量少，简单模块预估的样本数量多，由此来提高模型性能和保障服务性能。通过这三个模块的组合， DPIN模型有能力在服务性能的限制下预估每个广告在每个位置上的CTR ，并学习位置信息和其他信息的深度非线性交叉表示。下文将会详细地介绍这三个模块。

本文插图
图4 Deep Position-wise Interaction Network模型结构
与大多数深度学习CTR模型[10-16]类似，本文采用Embedding和MLP（多层感知机）的结构作为基础模块。对于一个特定请求请求，基础模块将用户、上下文和个候选广告作为输入，将每个特征通过Embedding进行表示，拼接Embedding表示输入多层MLP ，采用ReLU作为激活函数，最终可以得到每个广告在该请求下的表示。第个广告的表示可以通过如下公式得到：

本文插图
其中，，分别是当前用户特征集合、当前上下文特征集合以及第个广告的特征集合，是Embedding映射。
2.2 深度位置交叉模块（Deep Position-wise Interaction Module）在大多数业务场景中，基础模块通常已经被高度优化，包含了大量特征甚至用户序列等信息，其目的是捕捉用户在该上下文中对不同广告的兴趣。因此，基础模块的推理时间复杂度通常较大，直接在基础模块中加入位置特征对所有广告在所有位置上进行CTR预估是不可接受的。因此，本文提出了一个与基础模块并行的深度位置交叉模块，不同于针对广告进行兴趣建模的基础模块，该模块针对于位置进行兴趣建模，学习每个位置与上下文及用户兴趣的深度非线性交叉表示。
在深度位置交叉模块中，我们提取用户在每个位置的行为序列，将其用于各位置上的用户兴趣聚合，这样可以消除整个用户行为序列上的位置偏差。接着，我们采用一层非线性全连接层来学习位置、上下文与用户兴趣非线性交叉表示。最后，为了聚合用户在不同位置上的序列信息来保证信息不被丢失，我们采用了Transformer[30]来使得不同位置上的行为序列表示可以进行交互。