『人工智能』当谈论机器学习中的公平公正时，我们该谈论些什么？( 四 ) |算法|软件|Google|

本文在三个数据库中进行实验， Freebase15k-237、MovieLens-1M ，以及从 Reddit 中整理得到的边缘预测数据库。三个库的统计信息如表 1 所示（具体包括全部节点数量（|v|），带有敏感属性的节点数量（|T*|），敏感属性的数目及其类型和图中边缘的总数）：

本文插图
表 1. 数据库详细情况
（1）FREEBASE15K-237
FREEBASE15K-237 是一个标准的知识基准库 [9] ，本文使用该库评估对抗正规化的影响，在完成标准的知识库任务的同时，保持实体嵌入与「敏感」属性标签的不变性。在本库中，确定三个常见的属性标签：/award/award_nominee ，作为敏感属性。
在实验过程中，本文采用联合训练主模型和对抗框架的方式，但在测试不变性时，本文训练一个新分类器 (与鉴别器具有相同的能力) 从所学习的嵌入中预测敏感属性。此外，在这些实验中，本文依赖于两个基线：首先，对比不包含任何不变性约束的基线方法，即λ= 0 。其次，与一种非复合对抗的基线方法进行对比，即分别训练 K 个不同的编码器和 K 个不同的对抗框架。使用 Relu 激活函数的多层感知机（Multi-layer perceptrons ， MLP）作为分类器 Dk 和过滤器 f_k[7] 。使用 TransD 方法计算编码器和边缘预测损失函数 [8] 。在这个模型中，一个节点/实体的编码取决于预先决定的边缘关系，以及该实体是一个关系中的头还是尾。头节点的嵌入 (即边关系中的源节点) 由下式计算：

本文插图
其中， u、u_p、r_p 为可训练的嵌入参数， I 为 d 维单位矩阵。编码函数对尾部节点进行了类比定义。评分函数定义为：

本文插图
其中， r 为另外一个可训练的嵌入参数（每个关系）。最后，使用标准的最大边际损失函数如下：

本文插图
（2）MOVIELENS-1M
MOVIELENS-1M 是一个标准的推荐系统数据库，其目标是预测用户对电影的评分，将用户年龄、性别和职业作为敏感属性。在本库中的任务可以做如下描述：将电影推荐任务视为用户和电影之间的边缘预测问题，将不同的可能评级视为不同的边缘关系。
在本库中的实验采用简单的「嵌入-查找（Embedding-Lookup）」编码器，将每个用户和电影与一个唯一的嵌入向量关联起来。评分阶段，使用对数似然法计算如下：

本文插图
其中，关系矩阵 Qr 为：

本文插图
其中， a_r,1、P1、P2 均为可训练的参数。损失函数使用简单的负对数似然法。
（3）REDDIT
本文最后使用的数据库是基于 REDDIT 获取的， REDDIT 是一个广受欢迎的、以讨论为基础的网站，用户可以在这里对不同话题社区的内容进行发布和评论。对于这个数据集，考虑一个传统的边缘预测任务，其目标是预测用户和网站社区之间的交互情况。通过检查 2017 年 11 月以来的所有情况，如果用户在这段时间内至少在某社区出现过一次，就会在该用户和该社区之间设置一个边。然后，将图中的低分数节点去掉，最终得到一个包含 366K 个用户、18K 个社区、7M 边缘的图。基于该图，实验的主要任务是构建边缘预测模型，基于 90% 的用户-社区边缘情况预测剩余的缺失边缘。