机器之心Pro寒武纪vMLU技术面世，首推SR-IOV虚拟化功能

机器之心发布
机器之心编辑部2020 年 4 月，国内 AI 芯片独角兽寒武纪对外宣布，旗下云端智能芯片及加速卡系列思元 270 将正式基于寒武纪虚拟 MLU（vMLU）技术，首次支持 SR-IOV 功能。
据了解， SR-IOV 功能具备更好的租户隔离、应用热迁移特性，可为云服务供应商提供安全、优质的 AI 计算资源，以充分保障用户在 AI 领域的投资。思元 270 是寒武纪首款支持 SR-IOV 虚拟化功能的云端智能芯片产品。据悉，寒武纪未来的云端智能芯片，都会支持 SR-IOV 功能。
瞄准用户痛点：如何高效利用 AI 计算资源
思元 270 是寒武纪推出的面向云端的智能芯片，其支持全面的 AI 推断场景部署，包括视觉、语音、自然语言处理等多样化的人工智能应用。思元 270 系列支撑数据中心、专业场景乃至桌面等多元化部署场景。
在这些部署场景中，面向云端部署、多样化人工智能推断、以及配合寒武纪边缘侧板卡进行应用开发时，如何对 AI 计算资源的有效利用是用户首要关心的问题。也是寒武纪本次推出 SR-IOV 虚拟化功能的核心诉求：面向云端部署：在云部署环境下，云服务提供商 (CSP) 帮助海量租户以高性价比、高可用性的方式提供计算、存储、网络资源的服务，在此基础上还可提供高达 99.99% 的高可用服务级别。从 Hypervisor 和底层硬件上对资源进行高效共享以及多租户、实例进行相互隔离，成为了 AI 云服务的基本诉求。面向复杂的人工智能推断：在 AI 应用进行部署时，用户通常会遇到业务逻辑较为复杂的场景，需借助多个网络模型来构建 AI 辅助决策系统。为保证服务器节点内的服务质量，通常会采用一机多卡的部署方式。但计算成本和服务质量需要兼顾时，用户会希望用单张板卡并行多个模型来解决问题。面向边缘、端侧应用开发：寒武纪产品线已在云、边、端三个维度实现全面覆盖，在面向边缘侧和端侧的应用开发过程中，用户经常会受部署侧的 CPU、产品形态或网络条件的限制，无法直接在最终部署的设备上进行开发。寒武纪支持采用端云一体的开发环境帮助用户快速将应用落地，而帮助云侧计算资源高效、合理的分配给应用开发组，是思元 270 虚拟 MLU 的开发目标之一。
寒武纪首推 SR-IOV 功能：让 AI 云、业务部署和应用开发更灵活、高效、安全
为实现以上诉求，思元 270 采用寒武纪虚拟化技术——vMLU ，该虚拟化技术允许多个操作系统和应用程序共存于一个物理计算平台上，共享同一个芯片的计算资源。它为用户提供良好的安全性和隔离性，还支持如热迁移等高灵活特性。 vMLU 帮助提高云计算密度，也使数据中心的 IT 资产管理更灵活。
【机器之心Pro寒武纪vMLU技术面世，首推SR-IOV虚拟化功能】除了虚拟化基本的资源共享特性，思元 270 首推的 SR-IOV 虚拟化技术，支持运行在云服务器上的多个实例直接共享智能芯片的硬件资源。传统虚拟化系统中大量的资源和时间损耗在 Hypervisor 或 VMM 软件层面， PCIe 设备的性能优势无法彻底发挥。而 SR-IOV 的价值在于消除这一软件瓶颈，助力多个虚拟机实现高效物理资源共享。

本文插图
与传统图形加速卡的 vGPU 所采用的虚拟化技术不同，思元 270 采用「非基于时间片的共享」方式，因为其没有因时间片切换上下文带来的性能损失，能充分保证各 VF 独立的服务质量，彼此完全独立运行互不影响。

本文插图
硬件环境：: 1x MLU270-S4, Xeon Gold 6140@ 2.30GHz, 测试环境：Cambricon-MLU270 1.2.5 ，操作系统：Centos7.6