联手VMware重构云环境!联邦学习开源社区FATE重磅更新,首度支持联邦推荐功能( 二 )

  这一版本中 , KubeFATE也同步更新至1.3 , 引入了对最新版本的FATE-Serving支持 , 使得用户可以进行在线推理 , 机器学习的常见功能进一步完善 。

  此外 , 对于KubeFATE本身 , 这一版本也进行了彻底的重构 , 主要有:

  支持完整的FATE集群生命周期管理 , 包括查询现在已部署的FATE集群列表 , 查看每个FATE集群的具体配置 , 对FATE集群配置进行更新 , 删除FATE集群等功能;

  实现FATE集群管理的任务框架 , 开发者可以细致追踪每个任务的子任务 , 方便定位基础设施层面的问题;

  分离KubeFATE的程序与FATE集群配置的关系 , 后续FATE更新版本后 , 开发者不需要每次都重新下载安装KubeFATE从而进行升级 。 理想网络状况下 , KubeFATE可以自动下载 FATE集群的配置 , 开发者直接使用即可 。 如使用环境无网络支持 , 也可从KubeFATE的Release中下载tgz包 , 使用KubeFATE命令行直接上传到服务中 , 就可以实现部署发布新的集群支持 。

  加强FATE模块化安装部署 , 这一版本中 , KubeFATE可以把Exchange或某几个模块单独部署为一个集群 , 通过Kubernetes联通起来 。 这一功能将有助于复杂IT环境的企业进行部署 。

  最后 , 在新版本中 , KubeFATE也会以服务的方式对外提供RESTful API , 对开发者而言 , 后续KubeFATE将以服务形式常驻对集群进行管理 , 命令行工具也可以在外网甚至FATE集群管理员的笔记本上运行 。 对外有RESTful API接口的功能如下图所示 , 都可以方便接入企业已有的云管系统 。


联手VMware重构云环境!联邦学习开源社区FATE重磅更新,首度支持联邦推荐功能

----联手VMware重构云环境!联邦学习开源社区FATE重磅更新 , 首度支持联邦推荐功能//----

  FederatedML:训练稀疏数据效率提升 , 内存消耗再优化

  除联邦推荐及KubeFATE的重点更新外 , 新版本针对FederatedML也做了进一步提升 , 在1.3中 , 纵向联邦广义线性模型(Hetero-LR、Hetero-LinR、Hetero-PoissonR)开始支持稀疏数据训练 , 开发者在训练稀疏数据时 , 能明显感到效率提升 , 内存消耗减少 。 解决分箱中32M限制 , 也使得特征分箱支持更高维度和更多样本的数据 。 纵向SecureBoost 梯度直方图32M限制的解决 , 让FATE可以支持更高维度特征进行secureboost的训练 。

  总的来说 , 1.3版本对FATE功能性及实践应用价值进行了强化 , 联邦推荐算法子模块FederatedRec的添加 , 对于用户而言 , 最明显的益处在于可以利用联邦推荐来提升自己算法的预测效果和产品的分发效率 , 使推荐服务的质量更上一个台阶 。 这对于第一方数据不够丰富 , 或者在业务的初始时期数据积累较少的用户方 , 是非常有帮助的 。 而KubeFATE也开启了FATE在生产环境 , 尤其是云原生环境上最优化管理使用的功能更新探索之路 。 后续 , 微众银行也将和VMware进一步合作 , 推出基于FATE的多方管理新项目 。

联手VMware重构云环境!联邦学习开源社区FATE重磅更新,首度支持联邦推荐功能。  关于FATE: