业界首款智算中心算力调度软件!浪潮重磅发布AIStation推理平台
业界首款智算中心算力调度软件!浪潮重磅发布AIStation推理平台。 4月9日 , 2020浪潮云数据中心合作伙伴大会(IPF2020)在线上举行 , 浪潮重磅发布全新AIStation人工智能推理服务平台 , 这是业界首款智算中心算力调度软件产品 , 是专为企业级AI生产环境打造的AI推理服务平台 , 可实现推理服务资源敏捷调配 , 支持多源模型统一调度 , 使模型部署从几天缩短到几分钟 , 将有力地帮助企业轻松部署AI推理服务 , 从而大幅提升AI交付和生产效率 。
当前 , AI模型开发进入到生产部署阶段面临着多重困难和挑战:AI模型需要经过大量的调试和测试才能部署上线 , 这一过程通常需要2-3天;AI线上服务计算资源一般较固定 , 对于突发需求资源响应慢 , 业务扩展难;AI模型来源不同 , 统一管理也很困难 。 企业希望可以无缝衔接AI模型训练开发与推理部署 , 进行高效的资源调度和模型管理 , 缩短业务上线周期 。
最新发布的浪潮AIStation推理平台是企业级AI推理服务平台 , 通过弹性可伸缩架构、低延迟轻量化设计、A/B测试滚动发布、多模型加权评估等重要技术创新 , 帮助企业高效利用AI计算资源 , 快速部署推理服务 。 AIStaion推理平台具有一键部署、快速响应、日志监控、资源管控、数据处理等功能 , 是功能全面强大的AI资源平台 。
业界首款智算中心算力调度软件!浪潮重磅发布AIStation推理平台。
----业界首款智算中心算力调度软件!浪潮重磅发布AIStation推理平台//----
AIStation推理平台支持本地On-Premise和云端Cloud部署 , 保证服务的可获得性和业务连续性 , 实现了AI模型从开发环境到生产部署繁杂过程的自动化快捷操作 , 将模型部署时间从两三天降低到几分钟 。
在资源调度方面 , AIStation推理平台能够敏捷调配服务资源 。 采用创新的弹性可伸缩架构 , 可根据推理服务资源需求的变化及时调整资源配给 , 将响应突发需求的实例部署时间从几小时缩短到几分钟 。 并且支持新模型发布前A/B测试 , 在实际业务场景中验证模型有效性 , 保证推理业务的安全、可靠 , 同时避免了流量切换所导致的集群负载压力 。
在模型管理方面 , AIStation推理平台实现了多源模型统一调度 。 通过统一平台管理多源、多场景模型的推理服务 , 实时掌控全局资源 , 对模型服务实现综合调度和动态部署 。 同一资源池可同时支持多家模型服务 , 将资源利用率从40% 提高到80% 。 并且可实现多模型加权评估 , 通过对不同预训练模型的计算结果进行自定义权值设置 , 有效提升实际业务场景中预测结果的可靠性 , 构建可靠可信的智能系统 , 有效降低误判率 。
之前浪潮推出的AIStation训练平台已经获得广泛应用 , 该平台通过计算资源细粒度调度、训练数据缓存加速、分布式训练自动编排等策略 , 使用户的AI计算资源利用率提高到90%以上 , 大幅缩短了模型开发周期 。 随着本次浪潮AIStation推理平台的面世 , AIStation资源平台全面支持训练与推理两大场景 , 实现从模型开发、训练、部署、测试、发布、服务的全流程一站式高效交付 。
- zol中关村在线首款十代酷睿8核旗舰游戏本 技嘉AORUS 17G XB评测
- 「卫健委」荣威R标旗下首款纯电轿车ER6首次亮相 NEDC续航605km
- 业界中国电信56314台服务器集采:华为鲲鹏、海光斩获大单!
- 小智玩机首款发哥神U国产旗舰杀到:拳打骁龙865脚踢麒麟990
- 绿色中国防务美俄看后直言很羡慕,坦克中的歼20?全球首款隐身坦克悄然亮相
- 陈两岁将挑战英特尔和AMD,世界首款128核超强功能处理器面市
- 科技真探社苹果首款头戴式蓝牙耳机AirPods Studio价格曝光,苹果的新野心
- 互联网深科技处理器将会发生革命初创公司新款处理器号称“世界首款通用处理器
- 开发 | 中台,治好了病,却要了命
- 数码狂人致力科技创新,茂睿芯发布多颗国内首款级芯片