趋势洞察：可用于管理机器学习生命周期10大 MLops平台本文由牛旦课堂原创编译

本文由牛旦课堂原创编译，编译者：墨子老师
参考链接：
文章插图
0.导引对于大多数专业的软件开发人员来说，使用应用程序生命周期管理(ALM)是必然的。许多数据科学家没有软件开发背景，他们通常不会将生命周期管理用于他们的机器学习模型。而由于支持机器学习生命周期管理的“MLops”环境和框架的出现，这个问题现在比几年前更容易解决。
本文主要构成：

什么是机器学习生命周期管理；
可用的机器学习生命周期管理产品简述。

1. 什么是机器学习生命周期管理?这个问题的简单答案是机器学习生命周期管理与ALM是一样的，但这也是错的。这是因为机器学习模型的生命周期在许多方面与软件开发生命周期(SDLC)不同。
首先，软件开发人员在编写代码之前或多或少知道他们要构建的是什么。可能存在一个固定的总体规范(瀑布模型) ，也可能没有(敏捷开发) ，但是在任何给定的时刻，软件开发人员都在尝试构建、测试和调试一个可以描述的功能特性。软件开发人员还可以编写测试，以确保功能部件按照设计的方式运行。
相比之下，数据科学家通过实验来建立模型，在实验中，优化算法试图找到解释数据集的最佳权重集。模型有很多种，目前唯一确定哪种是最好的方法就是全部尝试遍。对于模型“好”也有几个可能的标准，并且没有真正的软件测试的等价性。
不幸的是，一些最好的模型(比如深度神经网络)需要很长时间来训练，这就是为什么GPU、TPUs和FPGAs这样的加速器对于数据科学变得重要的原因。此外，通常要花费大量的精力来清理数据，并从原始观察中设计出最佳的功能特性集，以便使模型尽可能地有效运作。
即使在使用固定数据集的情况下，跟踪数百个实验和数十个特性集也不容易。在现实生活中，情况甚至更糟:数据经常随时间漂移，因此需要定期调整模型。
机器学习生命周期有几种不同的范例。通常，他们从构思开始，接着进行数据采集和探索性数据分析，从那里转移到研发(那是数以百计的实验次数)和验证，最后是部署和监控。监控可能会周期性地让您返回到第一步，以尝试不同的模型和特性，或者更新您的训练数据集。实际上，生命周期中的任何步骤都可以让您返回到先前的步骤。
机器学习生命周期管理系统试图随着时间的推移对您的所有实验进行排名和跟踪。在最有用的实现中，管理系统还与部署和监视集成在一起。
2. 机器学习生命周期管理产品这里已经确定了几个用于管理机器学习生命周期的云平台和框架，本文将做以简介。目前包括Algorithmia, Amazon SageMaker, Azure Machine Learning, Domino Data Lab ，谷歌云AI平台， HPE Ezmeral ML Ops, Metaflow, MLflow, Paperspace和Seldon 。下面分别做以简介。
2.1 AlgorithmiaAlgorithmia（）可以连接、部署、管理和扩大你的机器学习组合。根据您选择的计划， Algorithmia可以运行在自己的云上、您的办公场所、VMware或公共云上。它可以在自己的Git存储库或GitHub上维护模型。它可以自动管理模型版本，可以实现流水线，可以使用CPUs和GPUs按需(无服务器)运行和缩放模型。除了托管模型之外， Algorithmia还提供了一个有关键字的模型库(见下面的截图) 。它目前没有为模式培训提供太多的支持。

文章插图
2.2 Amazon SageMaker亚马逊SageMaker（）是亚马逊为机器学习和深度学习提供的全面管理的集成环境。它包括一个Studio环境，将Jupyter notebooks与实验管理和跟踪(见下面的截图)结合在一起，包括模型调试器、为没有机器学习知识的用户提供的“自动驾驶仪”、批处理转换、模型监视器，以及具有弹性推理的部署。

文章插图
2.3 Azure Machine LearningAzure Machine Learning（;isjs=1用于从Windows、Mac或Linux执行作业的CLI;和一个SDK以编程方式与梯度o交互平台。
Gradiento组织你的机器学习工作项目,其集合了实验、作业、工件和模型。项目可以通过GradientCI GitHub应用集成在一个GitHub库。 Gradiento支持Jupyter和JupyterLab笔记本。
实验Experiments(见下面的截图)是为在CPU和可选GPU上执行代码(比如训练深度神经网络)而设计的，不需要管理任何基础设施。实验用于创建和启动单个作业或多个作业(例如超参数搜索或分布式培训) 。作业由打包在一起并远程执行的代码、数据和容器组成。 Paperspace实验可以生成机器学习模型，然后解释并存储在梯度模型库中。