『人工智能』当谈论机器学习中的公平公正时，我们该谈论些什么？( 三 ) |算法|软件|Google|

本文插图
以及

本文插图
表示负样本，例如，不存在于图中的随机样本边。
考虑公平性的处理，对一个节点类型，假设属于该类型的全部节点都包含有 K 组敏感属性，那么对图嵌入模型进行公平性处理的任务就是确保所学习的节点嵌入 (z_u) 在这些敏感属性方面不存在偏见或不公平。
不变的实用公平性
本文给出了一个简单的以用户为中心的社会图嵌入场景。以性别为敏感属性、电影推荐为关系预测任务的例子，具体任务场景如下：如果给用户一个按钮，上面写着「推荐电影时请忽略我的性别」，那么按下这个按钮后，用户希望从系统中得到什么？很显然，用户 u 的目的是系统能够不考虑他们的性别公平地向他（她）推荐电影，即如下式：

本文插图
其中 s(e) = s() ， a_u 为敏感属性。如果直接处理上式，我们能够发现一个明显的问题，即对于每一个节点都需要对它的全部边（可能是数以百万计）进行评分。假设认为 s(e) 仅由 u 决定（忽略掉节点 v 的影响），则可以通过实施表征不变性来保证上式对于所有边缘预测的独立性：

本文插图
此时满足互信息（mutual Information）：I(z_u,a_u)=0 。推广到多个敏感属性 S? {1,...,K}：

本文插图
上式相当于对 S 个不同敏感属性的 S 独立不变性约束的假设。针对本文所讨论的应用场景， S 不是固定不变的。对于不同的用户来说，他们所认为的敏感属性可能不同（年龄，职业，性别等等）。基于上述分析，本文在上式中引入一种对抗性损失和一种「过滤」嵌入，从而对节点嵌入施加表征不变性约束。
复合编码器
首先，将 ENC 嵌入函数泛化，以选择性地「过滤」掉有关某些敏感属性的信息。对每一个敏感属性 k∈{1,...,K} ，定义一个过滤函数 f_k ，通过训练 f_k 能够去除掉与敏感属性 k 有关系的信息。为了保证节点嵌入的不变性，本文使用复合编码器组合过滤后的嵌入：

本文插图
在组合映射函数（C-ENC）的训练迭代过程中，每轮迭代都通过采样二进制掩码来确定集合 S 。本文将二进制掩码采样为一个固定概率 p=0.5 的伯努利序列。在训练过程中，随机采样得到的二进制掩码能够使得模型产生不同敏感性属性组合的不变嵌入，从而实现在推理过程中推广到未知的组合。
对抗损失
本文引入对抗正则项训练复合编码器 Dk 。为每个敏感属性 k 定义一个分类器 D_k ，目的是通过节点嵌入预测第 k 个敏感属性 D_k : R^d × A_k → [0, 1] ，其中， D_k 的概率区间为 [0,1] 。给定边预测损失函数 L_edge ，对抗正则化损失函数为：

本文插图
其中， λ控制对抗正则项的强度。为了在小批量设置的情况下优化该损失，本文定义两种交替执行的随机梯度下降更新方法：（1）T 小批量更新：基于 C-ENC（Dk 恒定不变）优化 L(e)；（2）T』小批量更新：基于 Dk（C-ENC 恒定不变）优化 L(e) 。