亚马逊越拨越快的AI算盘:立足四种受众,开发18项新服务


亚马逊越拨越快的AI算盘:立足四种受众,开发18项新服务文章插图
智东西(公众号:zhidxcom)
作者 | 子佩
编辑 | Panken
智东西12月9日报道 , 北京时间今天凌晨零点 , AWS全球副总裁Swami Sivasubramanian在re:invent全球线上大会上分四个板块介绍了AWS在机器学习方面的新进展:基础架构、SageMaker新功能、数据库ML(Machine Learning)和工业ML , 分别为机器学习架构者、数据科学家、业务人员和工业制造提供便捷工具 。
亚马逊越拨越快的AI算盘:立足四种受众,开发18项新服务文章插图
AWS大中华区云服务产品管理总经理顾凡
今天下午 , AWS大中华区云服务产品管理总经理顾凡、AWS大中华区机器学习产品总监代闻也围绕着“如何为不同用户提供具有针对性的产品”这一条主线 , 对今年发布机器学习服务和产品进行了重点解读 。
一、框架、算力并重 , AWS主打性价机器学习的基础分为两个部分:机器学习的框架和底层算力的基础架构 。
AWS目前支持Tensorflow、PyTorch、MXNet三个主流的机器学习框架 , 未来也将会支持新出现的算法框架 , 让用户可以在AWS上任意选择最适合的框架 , 不需要受到任何限制 。
亚马逊越拨越快的AI算盘:立足四种受众,开发18项新服务文章插图
顾凡讲述Mask-RCNN和T5-3B模型在不同算力下的训练速度
“越是成功的算法模型 , 预测部分就占比越大 , 这也就意味着更大的成本 。 ”顾凡说道 , “AWS要做的 , 就是降低算法模型的训练和预测成本 , 也就是做性价比最高的芯片 。 ”
所以在算力方面 , AWS公布了基于Habana Gaudi的EC2实例和自研机器学习训练的芯片Trainium 。
【亚马逊越拨越快的AI算盘:立足四种受众,开发18项新服务】前者将于2021年推出 , 基于EC2实例性价比将比基于GPU的EC2机器学习训练实例高出40%;后者比起标准的AWS GPU可以提升30%的吞吐量 , 成本上也降低45%的单位成本 。
二、SageMaker九大新功能:解决特征提取痛点在硬件方面提供足够选择后 , AWS在软件方面上也想要降低用户的使用门槛 。
顾凡说道 , AWS面对的主要痛点就是如何快速从海量格式不同、来源不同的原始数据中提取出特征值 , 以及如何在不同的模型使用同一份特征 。
亚马逊越拨越快的AI算盘:立足四种受众,开发18项新服务文章插图
SageMaker功能流程图
顾凡说道 , AWS面对的主要痛点就是如何快速从海量格式不同、来源不同的原始数据中提取出特征值 , 以及如何在不同的模型使用同一份特征 。
特征提取工具Data Wrangler和特征数据库Feature Store就是AWS给出的答案 , 两者结合通过找到与目标关联度最大的特征以及按用户设定格式存储进特征数据库 , 帮助数据科学家们大大缩短了数据预处理的时间 , 以及数据利用率 。
除此之外 , SageMaker本次还发布了其他八项新功能:
1、专为机器学习而构建方便易用的CI/CD(持续集成和持续交付)服务:SageMaker Pipelines
2、为开发人员实现了训练数据可视化 , 以便有效控制机器学习模型的偏差、对预测作出解释:SageMaker Clarify
3、帮助开发人员更快地训练模型、监控机器学习训练任务:Deep profiling for Amazon SageMaker Debugger
4、两种用于大型模型训练的并行式计算:Distributed Training on Amazon SageMaker
5、监控和管理部署在边缘设备上的机器学习模型 , 以确保模型正确运行:Edge Manager
6、用于查看和检索预训练模型和预构建工作流:Amazon SageMaker JumpStart
三、数据库ML:让所有人用上机器学习如果说前两项工具针对的是机器学习开发者和数据科学家等专业人员 , 那么数据库ML就是为一切有好奇心的人量身打造的 。