『量子位』推理性能比第二名快5倍，阿里公开核心技术：如何摘下4项世界冠军文|阿里云异构计算团队量子位出品|公众

文|阿里云异构计算团队量子位出品|公众号QbitAI
近日，斯坦福大学DAWNBenchImageNet最新成绩公布，阿里超过Google、Facebook等，摘下四个榜单的世界第一。
128卡V100上，训练ResNet50 ，只需要158秒就能获得top593%的精度。
在10000张图片的验证集进行图片分类， top5精度不低于93% ，推理性能比第二名快5倍以上。
可以说，不论是训练的性能和成本，还是推理的性能和成本，都体现出阿里在异构计算领域具有世界级AI软硬件一体化极致性能优化能力。
阿里是如何做到的？四项冠军得主——阿里云异构计算团队分享了背后的技术秘密。

文章图片
这是一个什么样的成绩？斯坦福的DAWNBench ，是一个端到端的深度学习模型训练和推理性能的基准测试平台，由斯坦福大学在2017的NIPS会议上发布，之后得到业界广泛支持。
Google、Facebook和VMWARE等世界知名公司先后加入。 DAWNBench已成为人工智能领域最具影响力、最权威的排行榜单之一。
对于AI计算而言，最重要的两个指标是性能和成本。最新的成绩公布后，显示了阿里云在训练和推理领域软硬件一体化世界级性能优化能力。
阿里云异构计算AI加速团队透露，最重要的武器是阿里云自研的飞天AI加速引擎AIACC、阿里云自研芯片含光800（简称AliNPU）以及阿里云异构计算云服务。
AIACC是阿里云自研的AI加速引擎，是业界首次统一加速Tensorflow、PyTorch、MxNet、Caffe、Kaldi等AI主流计算框架的加速引擎，其中包括训练加速引擎AIACC-Training和推理加速引擎AIACC-Inference 。
训练加速引擎针对分布式的网络做了性能优化，能够充分发挥分布式网络的通信能力，推理加速引擎针对阿里云异构计算云服务（包括GPU云服务和NPU云服务）做了针对性深度的性能优化，能够发挥异构加速设备的计算能力。
以NVidiaGPU为例，目前业界最快的推理引擎是TensorRT ，而AIACC-Inference的计算性能比TensorRT还能获得1.5～2.5倍的性能加速比。
含光800是阿里巴巴第一颗自研AI芯片，也是全球性能最强的AI推理芯片，主要用于云端视觉处理场景，性能打破了现有AI芯片记录，性能及能效比全球第一。

文章图片
在业界标准的ResNet-50测试中，含光800推理性能达到78563IPS ，比目前业界最好的AI芯片性能高4倍；能效比500IPS/W ，是第二名的3.3倍，而AIACC-Inference也能够充分挥发含光800超高的计算能力，这是阿里云软硬件一体化极致性能优化的典范。
阿里云异构计算云服务将GPU、FPGA、NPU等异构计算设备整合，通过云计算服务的方式对客户提供异构计算服务。
随着人工智能浪潮的兴起，越来越多的AI计算都采用异构计算来实现性能加速，而阿里云异构计算服务，构建于云上最丰富的加速实例基础之上，通过AIACC的算力提升，为AI计算提供普惠、弹性和触手可得的加速计算云服务。
刷新ImageNet上ResNet50的训练记录在图像识别领域，最具代表性的场景是ResNet50在ImageNet上的训练。
最新公布的榜单上， AIACC-Training成为此场景下的性能与成本的世界双项第一，展示了在分布式训练领域AIACC处于国际领先水平，能够帮助用户提升训练性能的同时降低所需的计算成本。

文章图片
训练性能榜单新的世界纪录，运行在128张V100（16台异构计算云服务实例ecs.gn6e-c12g1.24xlarge）的集群之上，网络通信为32GVPC ，训练ResNet50至top5精度达到93%时间为2分38秒。