在推荐系统中，我还有隐私吗？联邦学习：你可以有( 六 )

四、进一步解决联邦协同过滤中存在问题的普适方法
在第三节中， Fed-NewsRec 解决了 FCF 中的 “要求所有用户都参与到联邦学习的过程中来训练他们的向量” 的问题，但是它只适合于新闻推荐应用场景，无法应用到其它场景中，不具备普适性。本节中我们介绍一个通用的基于内容的联邦多视图推荐框架 FL-MV-DSSM（Federated Learning-Multi View-Deep Structured Semantic Models）[4] 。该框架通过利用来自不同 APP 的信息训练一个共享的用户子模型，从而具有更好的 item 推荐性能。
首先，通过将一个通用的深度学习模型（Deep-Structured Semantic Models ， DSSM）转换为一个联邦学习环境， FL-MV-DSSM 可以将用户和 item 映射到共享的语义空间，以便进一步实现基于内容的推荐， FL-MV-DSSM 能够处理现有 FedRec 的冷启动问题（Cold Start）。然后，本文设计了一种新的 FL-MV-DSSM 方法，从多个数据源学习联邦模型以获取更丰富的用户级特征，从而大大提高了 FL-MV-DSSM 的推荐性能。此外， FL-MV-DSSM 提供了一种新的联邦多视图设置，例如可以使用来自不同手机 APP 的数据共同学习一个联邦模型。

本文插图
图 5. FL-MV-DSSM 框架
4.1 FL-MV-DSSM 框架分析
DSSM 最初是为 web 搜索而设计的，它通过多层神经网络从用户的查询词和候选文档中提取语义向量，然后利用余弦相似度来度量查询与文档在语义空间中的相关性。在本文通用联邦多视图推荐设置中，采用 DSSM 作为推荐方法的基本模型，如图 5(a)所示。
假设每个 FL 客户端有 N 个用户级特性的视图（每个 App 考虑对应一种视图），记为第 i 个视图的特征 U_i ，第 i 个视图（App）只能访问 U_i 对应的数据集。从推荐提供程序中下载 item 数据集 I（item dataset）。所有视图都可以访问共享数据集 I 。对于联邦学习推荐系统任务，假设老用户有一些可以生成行为数据 y ，而新用户没有任何行为数据。 FL-MV-DSSM 建立在传统的 FedAvg 算法基础上，需要 FL 中央服务器提供初始模型，如图 5(c)所示。
如下 Algorithm 1 给出了 FL-MV-DSSM 的训练算法，假设在 FL-MV-DSSM 的训练阶段，所有的 FL 客户端都是具有基于 item 数据集 I 生成行为数据 y 的老用户。在每个视图 i 中，根据第 i 个视图的私有用户数据 U_i 和本地共享 item 数据 I 计算用户子模型（user sub-model）和item 子模型（item sub-model）的梯度。虽然 FL-MV-DSSM 是一种基于内容的联邦学习推荐系统任务，但与仅使用用户子模型的聚合梯度相比， item 子模型的聚合梯度具有更好的推荐性能。
因此，在 FL-MV-DSSM 中， item 子模型的梯度将以 FL 方式聚合，而用户梯度的聚合可通过 Algorithm 1 中第 9 行的 “aggregate_user_submodel” 标志配置，这可以生成 FL-MV-DSSM 的一个变体，即 SEMI-FL-MV-DSSM 。每轮 FL 训练结束后，根据 FL 中央服务器发布的新的全局梯度，以 FedAvg 方式更新用户和 item 子模型。用户和 item 子模型的梯度都包含了需要保护的视图中特定的信息，因此 FL-MV-DSSM 提供了两个安全聚合原语：local_secure_aggregate()和 remote_secure_aggregate() ，以保护本地和远程梯度聚合。

本文插图
Algorithm 2 给出了 FL-MV-DSSM 的预测算法。对于每个 item x_Ij ，无论是旧 item 还是新 item ， item 子模型都输出其结果 y_Ij 。同时，用 y_Ij 的多个用户视图进行局部相似度比较，以确定用户的安全性。根据相似度比较结果， FL-MV-DSSM 将为用户输出 top-K item ，无论是旧 item 还是新 item 。