在推荐系统中，我还有隐私吗？联邦学习：你可以有( 四 )

在论文《Privacy-Preserving News Recommendation Model Learning》[3]中，来自清华和微软研究院的研究人员针对新闻推荐问题对 FCF 进行了改进，具体提出了一种隐私保护方法（Fed-NewsRec），利用海量用户的行为数据，训练出准确的新闻推荐模型。此外，提出应用局部差分隐私来保护用户客户端设备和中央服务器之间通信的局部梯度中的私有信息。 Fed-NewsRec 的完整结果见图 2 。在 Fed-NewsRec 框架中，新闻平台（网站或应用程序）上的用户行为存储在用户的本地设备中，而不需要上传到服务器中。另外，提供新闻服务的服务器不记录也不收集用户的行为，这可以减轻用户的隐私顾虑和减少数据泄露的风险。

本文插图
图 2. 隐私保护新闻推荐方法的框架
2.1 新闻模型（News Model）
在 Fed-NewsRec 中，沿用经典新闻推荐模型中的新闻模型。新闻模型的目的是学习新闻表征，从而对新闻内容进行建模，其结构如图 3 。新闻模型从下到上一共四层。第一层是词嵌入，它将新闻标题中的词序转换成语义嵌入向量序列。第二层是一个 CNN 网络，它通过捕捉本地上下文来学习单词表示。第三层是一个多头自注意力网络，它可以通过模拟不同单词之间的长期关系来学习上下文单词的表示。第四层是注意力网络，它通过选择信息词，从多头自注意力网络的输出中构建新闻表征向量 t 。

本文插图
图 3. 新闻模型结构
2.2 用户模型（User Model）
用户模型用于学习用户表示以模拟他们的个人兴趣。其结构如图 4 所示。

本文插图
图 4. 用户模型结构
具体的，用户模型从用户点击的新闻文章中学习用户表现，同时考虑用户的长期和短期兴趣。通过一个多头自注意力网络和一个注意力池网络相结合来学习用户所有的历史行为，以得到长期兴趣建模。用户模型将 GRU 网络应用于用户最近的行为，以得到短期用户兴趣建模。最后，将长期兴趣和短期兴趣结合成一个统一的用户注意力网络嵌入向量 u 。
2.3 基于用户行为的模型训练
用户在新闻网站和 App 上的行为可以为新闻推荐模型的训练提供有用的监督信息。例如，如果一个用户 u 点击了一篇由模型预测的低得分排名的新闻文章 t ，那么我们可以立即调整模型，从而为这个 “用户 - 新闻” 信息对提供更高的排名分数。本文提出了一种基于点击和非点击行为的新闻推荐模型。
对于用户 u 点击的每一条新闻，随机抽取一个 “曾经也显示过但用户并未点击的” 样本新闻 H 。假设该用户共有 B_u 次点击行为，则参数为Θ的新闻推荐模型的损失函数定义为：
（13）
其中 L^i 的定义为：

本文插图
（14）
其中， s(u,t)表示用户 u 对新闻 t 的排名得分，可以使用嵌入向量的点积来表示，例如 s(u,t)=u^T t 。 (t_i)^c 和(t_i)^nc 分别表示用户点击和未点击的新闻文章。由于准确的新闻推荐模型能够有效地改善用户的新闻阅读体验，而单个用户的行为数据远远不足以训练出一个准确无偏的模型，因此在 FedNews-Rec 框架中，作者提出引入大量的用户设备来共同训练新闻推荐模型。参与模型训练的每个用户设备称为客户端。每个客户端都有一个由服务器维护的当前新闻推荐模型Θ的副本。假设用户 u 的客户端在新闻平台上积累了一组行为，用 B_u 表示，然后根据行为 B_u 和公式（13）中定义的损失函数计算模型的局部梯度 g_u 。虽然局部模型梯度 g_u 是由一组行为而不是单个行为来计算的，但是它仍然可能包含一些用户行为的隐私信息。因此，为了更好地保护隐私，作者将局部差分隐私（Local Differential Privacy ， LDP）技术应用于局部模型梯度。将应用于 g_u 的随机算法表示为 M ，定义为：