文章插图
提出权重重分配 ， 提高精度
原算法在 Server 上做模型整合 ， 采用的是加权平均的方法 ， 用每个 Client 的数据量作为权重 ， 进行加权平均 。 每个 Client 的数据量差距可能非常大 ， 有的占比 40% ， 有的占比不到 1% ， 所以该论文提出了进行权重分配 。
调整联邦学习模型融合时各方模型更新的权重：给训练效果越好的边端 ， 分配更大的权重 ， 在模型融合时产生更大的影响 。
训练效果的衡量是通过比较每一方本地训练前后模型用一批数据做推理产生的特征的余弦距离 ， 余弦距离越大 ， 该训练产生的变化越大 ， 该分配的权重越大 。 完整算法可以参考下图：
文章插图
文章插图
下表格的实验结果显示 ， 权重重分配使所有边端模型的性能都超过 Local Training ， 带来普遍的性能提升 。
文章插图
4总结针对数据隐私问题 ， 这篇论文将联邦学习应用到行人重识别 ， 并做了深入的研究分析 。 构建了一个 Benchmark ， 并基于实验结果带来的洞见 ， 提出了使用知识蒸馏和权重重分配的方法来解决数据异构性带来的性能问题 。
[赠书福利]
在AI科技评论今天（10月19日）头条文章《专访吴军：未来10年 ， AI的发展方向是应用 ， 不会出现重大的理论突破》一文留言区留言 ， 谈一谈吴军博士对你的启示 ， 或你对信息技术发展的理解 。
AI 科技评论将会在留言区选出 10 名读者 ， 每人送出《信息传》一本 。
活动规则：
1. 在留言区留言 ， 留言点赞最高的前 10 位读者将获得赠书 。 获得赠书的读者请联系 AI 科技评论客服（aitechreview） 。
2. 留言内容会有筛选 ， 例如“选我上去”等内容将不会被筛选 ， 亦不会中奖 。
3. 本活动时间为2020年10月19日 - 2020年10月23日（23:00） ， 活动推送内仅允许中奖一次 。
NeurIPS 2020论文接收列表已出 ， 欢迎大家投稿让更多的人了解你们的工作~
文章插图
文章插图

• 用于|用于半监督学习的图随机神经网络
• 今日|“舜网”学习强国号今日上线 济南报业全媒体矩阵再添新成员
• SK|SK电讯推出自研AI芯片SAPEON X220 深度学习计算速度是常用GPU 1.5倍
• 效果|这个让你相见恨晚的技巧，能让PPT排版更加有设计感，推荐学习
• 学习C语言的软件，就突然被我绿了？
• 学习python第二弹
• 喵喵机错题打印机P1：随时打印，随时学习，快速整理错题
• 爱可可AI论文推介(10月17日)
• D3学习手记 - 02 - 数据绑定
• TOP8无代码平台：2020年，这些机器学习平台不容错过