在推荐系统中，我还有隐私吗？联邦学习：你可以有( 五 )

本文插图
（15）
（16）
其中， n 是拉普拉斯噪声，均值为 0 。
在 Fed-NewsRec 框架中，使用一个中央服务器来维护新闻推荐模型，并通过来自大量用户的模型梯度对其进行更新。在每一轮更新中，中央服务器随机选择用户客户端的一小部分 r（如 10%），并将当前的新闻推荐模型发送给他们。然后，它从选定的用户客户端收集并聚合本地模型梯度，如下所示：
（17）
其中， U 是本轮学习过程中选择的用户集， B_u 是用于局部模型梯度计算的用户 U 的行为集。然后使用聚合梯度更新中央服务器中维护的全局新闻推荐模型：
（18）
然后将更新的全局模型分发到用户设备以更新其本地模型。重复这个过程，直到模型训练收敛。
2.4 实验结果
本文实验是在一个来自挪威新闻网站的公共新闻推荐数据集（Adressa）和另一个从微软新闻中收集得到的真实数据集（MSN-News）上进行的。假设不同用户的行为日志以分散的方式存储，以模拟隐私保护新闻推荐模型训练的实际应用。使用用户上周产生的行为数据进行测试，剩下的行为数据用于训练。另外，由于在实际应用中并不是所有的用户都能参与模型的训练，所以随机选取一半的用户进行训练，并对所有用户进行测试。
作者将 Fed-NewsRec 与多个已有方法进行对比，具体包括：（1）因子分解机（Factorization machine ， FM），经典的推荐方法；（2）深度融合模型（Deep fusion model ， DFM），专门的新闻推荐模型；（3）EBNR ，使用 GRU 进行用户建模；（4）DKN ，利用具有知识意识的 CNN 网络进行新闻推荐；（5）DAN ，使用 CNN 从新闻标题和实体中学习新闻表示，使用 LSTM 学习用户表示；（6）NAML ，多视角关注学习新闻表征；（7）NPA ，利用个性化注意力网络学习新闻和用户表征；（8）NRMS ，通过多头自注意力网络学习新闻和用户的表征；（9）FCF ，联邦协同过滤推荐方法，即我们第二章中介绍的方法；（10）Cen-NewsRec ，它与 Fed-NewsRec 具有相同的新闻推荐模型，但是它是根据集中的用户行为数据进行训练的。

本文插图
表 2. 不同方法的新闻推荐结果
实验结果见表 2 。
首先，通过比较 Fed-NewsRec 和目前主流的新闻推荐方法，如 NRMS、NPA 和 EBNR ，验证了 Fed-NewsRec 在个性化新闻推荐模型学习中的有效性。而且，与现有方法基于集中存储的用户行为数据训练的方式不同， Fed-NewsRec 中的用户行为数据分散存储在本地用户设备上，从不上传。因此， Fed-NewsRec 可以在训练出准确的新闻推荐模型的同时，更好地保护用户隐私。
其次， Fed-NewsRec 比现有的基于联邦学习的推荐方法（FCF）的性能更好。 FCF 在新闻推荐中的表现并不理想，这是因为 FCF 要求每个用户和每个 item 都参与到训练过程中来学习它们的嵌入，且用户和 item 为预先已知的。然而，在实际应用中，由于各种原因，并不是所有的用户都能参加训练。此外，网络新闻平台上的新闻文章很快就会过期，新的新闻文章不断涌现。因此，许多推荐新闻 item 在训练阶段都是未知的，而 FCF 无法处理这些 item 。 Fed-NewsRec 从新闻内容中学习新闻表示，并使用神经网络模型从用户行为中学习用户表示。因此， Fed-NewsRec 能够处理新用户和新 item 的问题，更适合新闻推荐场景。
最后， Fed-NewsRec 的性能比 Cen-NewsRec 差，后者与 Fed-NewsRec 有相同的新闻推荐模型，但训练的是集中的用户行为数据。集中存储的数据比分散的数据更有利于模型训练，因此 Cen-NewsRec 优于 Fed-NewsRec 是很好理解的。此外，在 Fed-NewsRec 中，采用局部差分隐私技术和 Laplace 噪声来保护模型梯度中的隐私信息，这进一步导致了聚合梯度模型更新的准确性不高。