发布|600TOPS超高算力,2~8核灵活配置!Imagination新发布神经网络加速器IP


发布|600TOPS超高算力,2~8核灵活配置!Imagination新发布神经网络加速器IP
文章插图
芯东西(ID:aichip001)
文 | 董温淑
芯东西11月13日消息,就在昨天,Imagination Technologies发布了最新一代神经网络加速器IP核IMG Series4 NNA,并将于12月份正式向厂商提供。
芯东西独家获悉,已有汽车领域厂商率先获得IMG Series4 NNA IP授权。
作为NNA IP系列第四代产品,IMG Series4 NNA具备创新的多核架构、高扩展性&高灵活性、超高性能、超低延迟、节省带宽、车规级安全性等功能及特性,可满足汽车、移动设备、数据中心、PC等多种应用场景的AI加速要求。
在这背后,Imagination为IMG Series4 NNA融入了怎样的设计巧思?在神经网络加速成为各行各业普遍需求的当下,IMG Series4 NNA将为满足这一需求拿出怎样的解决方案?
为回答这些问题,芯东西独家专访Imagination人工智能业务高级总监Andrew Grant,以了解IMG Series4 NNA中蕴含的“黑科技”。
发布|600TOPS超高算力,2~8核灵活配置!Imagination新发布神经网络加速器IP
文章插图
Imagination人工智能业务高级总监Andrew Grant
一、两年打磨:成就五大核心性能亮点我们了解到,Imagination第二代、第三代神经网络加速器IP核Series2NX和Series3NX,分别于2017年和2018年推出,两款产品的发布时间相隔一年。
相比之下,最新推出的Series4 IP核与前代产品的推出相隔两年。Andrew Grant向我们透露,2018年以来,Imagination研发团队从软硬件两方面出发,对Series4 IP进行了细致的产品设计。
在硬件层面,Imagination团队在2018年启动对Series4 IP核的研发工作,同步开始对多核(multi-core)技术( IMG 4NX-MC2、MC4、MC6、MC8)进行研发。
同时,Imagination推出其专利的Imagination Tensor Tiling(ITT)技术,可将工作负载分割以获得最优效率。
实际应用时,昨日最新亮相的Series4 NNA IP可凭借多核多集群组合,提供600 TOPS甚至更高算力,同时可为大型神经网络工作负载节省带宽、降低延迟。其性能优势可概括为五个方面:
1、高度灵活的可扩展方案。前两代产品均采用单核架构,相比之下,最新推出的Series4 NNA采用多核架构,允许用户集成2个、4个、6个或8个单核,提供灵活的可扩展方案。
发布|600TOPS超高算力,2~8核灵活配置!Imagination新发布神经网络加速器IP】2、超高性能。基于Series4 NNA IP,一个8核集群可提供100 TOPS算力,那么,6个8核集群的解决方案就可以提供600 TOPS算力。
3、超低延迟。所有内核可以并行处理一个任务,进而相应地降低延迟、缩短响应时间。举例来说,相比单核独立执行的情况,理想状态下8核集群可以把延迟降低至前者的1/8。
4、节省带宽。Imagination Tensor Tiling技术(ITT),可利用本地数据的依赖性将中间数据保存在片上存储器中,从而将带宽降低多达90%。
5、车规级安全性。Series4包含IP级别的安全功能且设计流程符合ISO 26262标准(解决汽车电子产品风险的行业安全标准)。
发布|600TOPS超高算力,2~8核灵活配置!Imagination新发布神经网络加速器IP
文章插图
此外,IMG Series4 NNA可运行一系列AI框架,包括Caffe、PyTorch、TensorFlow、PaddlePaddle、Chainer、Cognitive Toolkit、mxnet和Open Neural Network Exchange (ONNX)等。
对神经网络的支持方面,IMG Series4可为CNN、LSTM、RNN等多种神经网络加速,同时支持YOLO v3、Kittiseg等。
发布|600TOPS超高算力,2~8核灵活配置!Imagination新发布神经网络加速器IP
文章插图
二、亮剑四大领域:从PC到汽车都能用在应用场景上,除了延续前两代产品对移动设备、PC、数据中心等应用场景的支持,Series4 NNA IP特别针对自动驾驶领域、先进驾驶辅助系统(ADAS)等汽车领域应用进行了设计。
在与客户沟通的过程中,Imagination团队了解到,现有车载神经网络加速器IP解决方案存在功耗高等方面的痛点,这正给Imagination提供了“用武之地”。
Andrew说:“我们注意到,现有的多数IP厂商提供的是数据中心、桌面级CPU等解决方案,这些方案功耗比较严重,对车载场景不友好。但Imagination有做移动应用的基因,我们在控制功耗方面有优势。”
除了降低功耗以外,Imagination研发团队还综合考虑了自动驾驶等车载场景对能效、安全性等方面的需求。“(其中)最重要的是‘安全第一’的原则。”Andrew Grant强调。
Imagination研发团队在Series4 NNA独特的多核架构中加入控制器,以最大限度地提升使用效率。在保证功耗低、带宽低的情况下,把算力扩展到业界最大水平。
安全性方面,Series4 NNA采用硬件安全机制,可以保护编译后的网络、网络的执行和数据处理管道。