『人工智能』当谈论机器学习中的公平公正时，我们该谈论些什么？( 五 ) |算法|软件|Google|

将某些社区节点看作是「敏感」节点，将是否与这些敏感社区有边缘连接看作是用户的敏感属性。所谓的公平性目标是指模型的预测结果不受用户是否访问过某特定社区的情况影响。
在本数据库中的实验采用的是简单的「嵌入-查找（Embedding-Lookup）」编码器，使用简单点积评分函数：

本文插图
以及最大边际损失函数：

本文插图
最后，本文给出了三类公平性实验，
Q1：不变性的成本
为了量化学习到的嵌入对敏感属性的不变性程度，冻结编码器 C-ENC、训练一个新的 MLP 分类器预测每个过滤后嵌入的敏感属性。此外，评估使用这些过滤嵌入对原始预测任务的性能。理想情况下，训练得到的新 MLP 应当能够在预测敏感属性时具有随机准确性，此外，这些嵌入能够较好地完成原有的边缘预测任务。
总的来说，本文实验结果表明，在社会推荐数据集上，包括 MovieLens-1M 和 REDDIT ，本文的方法能够实现一个合理的折衷，即几乎完全删除敏感信息，同时保证边缘预测任务的相对误差只增加约 10% 。表 2 给出在使用各种嵌入方法时，预测 MovieLens 数据上的敏感属性的情况。由表 2 结果可知，敏感属性的分类准确度与多数投票分类器的分类准确度相当，使用组合对抗框架的 RMSE 从 0.865 下降到 1.01 。表 3 给出了使用不同方法完成 Freebase15k-237 库中预测敏感属性能力的实验结果。所有的敏感属性都是二进制的，表 3 给出了 AUC 分数以及完成主要边缘预测任务的平均秩。 Freebase15k-237 库中的实验结果显示，如果想要消除敏感信息，必须以增加原始边缘预测任务成本为代价。这个结果是可接受的，因为对于这个数据集，「敏感」属性是由实体类型注释合成得到的，这些属性与边缘/关系预测主任务高度相关。这一实验结果也表明，基于图嵌入的方法进行去偏处理是存在潜在局限性的。

本文插图
表 2. 预测 MovieLens 数据上的敏感属性的情况

本文插图
表 3.Freebase15k-237 库中预测敏感属性的能力
Q2：复合框架的影响
由表 2 中的实验结果可以看出，本文提出的复合框架效果优于单独对每一种属性进行去偏处理的效果。与单独基于每种敏感属性进行对抗正则化嵌入模型训练相比，使用复合框架能够去除掉更多的敏感信息，这是由于在数据库中不同的敏感属性，例如年龄、性别和职业，是相互关联的。图 3 给出预测 REDDIT 数据集中敏感属性的能力，其中条形图对应于 10 个二进制敏感属性的平均 AUC 。与表 2 实验给出的结论不同，在 REDDIT 库中，复合框架的效果并不如单独处理每个敏感属性的好。这说明，本文提出的复合对抗性框架效果受到不同的数据库特性影响。

本文插图
图 3. 使用不同嵌入方法时，预测 Reddit 数据集中敏感属性的能力
Q3：对未知敏感属性组合的不变性
使用复合编码器的一个优势在于能够生成对不同敏感属性组合不变的嵌入。对于一个单独的节点，能够生成 2^K 个独立的嵌入。本文在 REDDIT 库中进行实验，这是由于与另外两个库相比 REDDIT 库的敏感属性数量最多。由图 3 中的实验可知，本文提出的方法对于未知组合的实验效果下降很小（0.025），表明该方法具有对未知敏感属性组合的不变性。