毫无疑问，边缘智能正在崛起，低功耗AI芯片才是未来！云端AI存在1.功耗过高；2.实时性不强；

物联网智库编辑整理

转载请注明来源和出处

------ 【导读】 ------

云端AI存在1.功耗过高；2.实时性不强；3.带宽不足；4.安全问题......因此，越来越多的AI初创企业将终端专用芯片作为重点攻克课题。毫无疑问，越来越多的计算未来将会在终端设备上完成，智能将会下沉到终端设备，智能边缘计算将会崛起。目前，国内外已经有诸多芯片或人工智能公司加入了研发低功耗AI芯片的大军，本文对此进行盘点。

阿尔法狗的横空出世如同平地里起的一声惊雷，让“人工智能（AI）”这个并不算新的概念以强横之姿重新霸占了大众视野。以此为爆点，深度学习技术在图像识别、自然语言处理等方向上取得了前所未有的成功，并推动相关行业的快速发展，人脸识别、智能音箱等应用已经在人们的生活中变得稀松平常。

纵观人工智能产业链，基础层、算法层和应用层是缺一不可的三个组成部分。但是考虑到深度学习等AI算法开源的发展趋势，基础层的数据与AI芯片才是未来竞争的战略高地。

专用于人工智能的芯片和传统的计算芯片存在很大的差异——典型CPU的架构中需要大量的空间去放置存储单元和控制单元，相比之下计算单元只占据了很小的一部分，算力无法满足深度神经网络（DNN）的计算需求；而AI芯片则具有大量的计算单元，能够适合大规模并行计算的需求。

CPU微架构示意图，图中绿色部分表示计算单元，可以明显的看出只占了很小一部分

GPU（AI芯片三大类之一）微架构示意图，有数量众多的计算单元和超长的流水线，特别适合处理大量的类型统一的数据

基于通用性与计算性能的不同，可以把AI芯片分为GPU、FPGA、ASIC三大类。

芯片

简介

特点

主要厂商

GPU

GPU最初是用在个人电脑、工作站、游戏机和一些移动设备上运行绘图运算工作的微处理器。虽然GPU是为了图像处理而生的，但是它在结构上并没有专门为图像服务的部件，只是对CPU的结构进行了优化与调整，所以GPU不仅可以在图像处理领域大显身手，它还被用来科学计算、密码破解、数值分析，海量数据处理（排序，Map-Reduce等），金融分析等需要大规模并行计算的领域。

1.无法单独工作，必须由CPU进行控制调用才能工作

2.功耗高

英伟达

AMD

FPGA

FPGA是算法即电路，软硬合一的芯片。基于硬件描述语言，可以把算法逻辑直接编译为晶体管电路组合。由于FPGA的硬件电路是由算法定制的，其不需要取指令与指令译码过程，因而，FPGA能够充分发挥芯片的计算能力。

1.FPGA可以重复编程，因而具备一定的灵活性

2.效率高，功耗低

赛灵思

英特尔

（Altera）

LatTIce

Microsemi

深鉴科技

ASIC

依产品需求不同而定制化的特殊规格集成电路，由特定使用者要求和特定电子系统的需要而设计、制造，简单来说就是定制化芯片。近年来涌现的类似TPU、NPU、VPU、BPU等令人眼花缭乱的各种芯片，本质上都属于ASIC。

1.更加符合专业需求

2.从性能、面积、功耗等各方面，AISC都优于GPU和FPGA，但价格昂贵

谷歌

英特尔

寒武纪

地平线

异构智能

我们知道，深度学习分为两个阶段：模型训练与智能推断。现阶段，由于终端设备的计算力普遍有限，模型训练与推断大都在云端服务器上完成。在云端模型训练中，英伟达的GPU占主导地位

但随着应用的不断拓展，大家发现，云端AI存在很多问题：

1.功耗过高：与云端进行大量的数据传输将产生极大的功耗，限制了终端设备的应用。以目前火爆的比特币“挖矿”为例，矿工们过去都是采用英伟达的GPU，但是耗电太大，需要支付高昂的电费，这笔费用会稀释矿工们的利润，因此他们开始越来越多转向ASIC专用集成电路。

2.实时性不强：本地数据通过网络传输到云端，云端再将计算结果返回终端，这一过程存在数秒乃至数十秒的延迟。但在自动驾驶领域，毫秒级的延迟就可能造成重大安全事故，是无法被容忍的；在制造业领域，工厂停产的损失也是论秒计的，延迟可能会让数据价值呈现断崖式下跌。

3.带宽不足：传感器的大范围普及和低功耗广域网等连接技术的飞速发展，催化了物联网设备的爆炸式增长。市场研究公司Gartner称，2017年全球物联网设备数量将达到84亿——比2016年的64亿增长31%，而全球人口数量为75亿，也就是说2017年物联网设备数量将首次超过全球人口。到了2020年，物联网设备数量将达到204亿。可以预想，未来网络带宽的拓展速度远远低于智能互联产品的增长速度，无法满足云端互联的带宽需求。

4.安全问题：网络传输过程中存在数据被劫持的风险，隐私与安全性缺乏保障。

基于此，越来越多的AI初创企业将终端专用芯片作为重点攻克课题，以解决云端连接存在的功耗、延迟、带宽、隐私等问题——毫无疑问，越来越多的计算未来将会在终端设备上完成，智能将会下沉到终端设备，智能边缘计算将会崛起。

实时性是选择在终端完成推断最主要的原因之一；但由于深度学习的计算量巨大，所以算力也不能落下；再者，电池供电的终端设备对功耗也有极高的要求，且大多数的终端产品价格敏感。总之，高性能、低功耗、低成本的AI芯片将会是未来的主流。

目前，国内外已经有诸多芯片或人工智能公司加入了研发低功耗AI芯片的大军，现盘点如下：

——国内篇——

寒武纪

“寒武纪”成立于2016年，是北京中科寒武纪科技有限公司的简称，由中科院计算所孵化，于2017年8月获得了国投、阿里巴巴、联想等共计1亿美元融资，成为估值近10亿美元的智能芯片领域独角兽公司。寒武纪主要面向深度学习等人工智能关键技术进行专用芯片的研发，可用于云服务器和智能终端上的图像识别、语音识别、人脸识别等应用。

公司未来的愿景是让人工智能芯片计算效率提高一万倍，功耗降低一万倍。为了实现这一目标，寒武纪AI芯片能在计算机中模拟神经元和突触的计算，对信息进行智能处理，还通过设计专门存储结构和指令集，每秒可以处理160亿个神经元和超过2万亿个突触，功耗却只有原来的十分之一。未来甚至有希望把类似Alpha Go的系统都装进手机，让手机帮助我们做各种各样的事情，甚至通过长期的观察和学习，真正实现强大的智能。

2016，寒武纪发布了世界上第一个商用深学习处理器IP，即寒武纪1A处理器。2017年，寒武纪授权华为海思使用寒武纪1A处理器，搭载于麒麟970芯片和Mate 10系列手机中。

2017年11月，寒武纪在北京发布了三款新一代人工智能芯片，分别为面向低功耗场景视觉应用的寒武纪1H8，高性能且拥有广泛通用性的寒武纪1H16，以及用于终端人工智能和智能驾驶领域的寒武纪1M。

芯片

应用领域

说明

寒武纪1H8处理器

低功耗场景视觉

有4种配置可选，主打拍照辅助、图片处理、安防监控，性能功耗比是1A处理器的2.3倍

寒武纪1H16处理器

广泛通用性

1A处理器的升级版，拥有更高性能

寒武纪1M处理器

智能驾驶

性能是1A处理器的10倍以上

地平线

地平线机器人（Horizon Robotics）由前百度深度学习研究院负责人余凯创办，致力于打造基于深度神经网络的人工智能“大脑”平台。2017年10月，这家公司拿到了英特尔、嘉实投资、高翎资本、红杉资本等近亿美元的A+轮投资。

地平线的商业模式是芯片+算法，希望为客户提供低功耗、本地化的方案，以解决环境感知、人机交互、决策控制等问题。

软件方面，地平线做了一套基于神经网络的OS，已经研发出分别面向自动驾驶的的“雨果”平台和智能家居的“安徒生”平台，并开始逐步落地；硬件方面，未来地平线机器人还会为这个平台设计一个芯片——NPU（Neural Processing Unit），支撑自家的OS，到那时效能会提升2-3个数量级（100-1000倍）。地平线的最终产品不止芯片，而是一个核心控制模块，具有感知、识别、理解、控制的功能。

2017年12月20日，地平线在北京举行首次芯片产品发布会，推出了面向自动驾驶的嵌入式AI视觉芯片“征程”和面向智能摄像头嵌入式AI视觉芯片“旭日”。

芯片

特点

应用

征程

·高性能：一路1080P@30fps的视频输入，可对毎帧图像中的200个目标进行检测识别

·低功耗：典型功耗仅为1.5W

·低延时：小于30ms

能够同时对行人、机动车、非机动车、车道线、交通标志牌、红绿灯等8类目标进行精准的实时检测和识别。

旭日

集合先进深度学习算法，能够在前端实现大规模人脸检测跟踪、视频结构化等应用，可用于安防、智慧城市等场景

除此之外，在本次发布会上，地平线还面向智能驾驶、智慧城市、商业智能三大场景客户提供了“算法+芯片+云”的解决方案，在原来提及的“芯片+算法”的基础上加上了“云”。

深鉴科技

深鉴科技由清华团队创办，目标是以ASIC级别的功耗，来达到优于GPU的性能。自2016年3月成立以来，深鉴科技已经获得了天使到A+轮的3轮融资，累计融资金额超1亿美金，投资方包括金沙江创投、高榕资本、Xilinx、联发科、清华控股、蚂蚁金服、三星风投等。

如今，深鉴科技已成长为一家具备神经网络压缩编译工具链、深度学习处理器DPU设计、FPGA开发与系统优化等技术能力的初创公司。其中，最为核心的，即为DPU（Deep Learning Processing Unit），以及神经网络压缩编译技术，它不仅可以将神经网络压缩数十倍而不影响准确度，还可以使用“片上存储”来存储深度学习算法模型，减少内存读取，大幅度减少功耗。目前，深鉴科技的产品主要应用于安防监控与数据中心两大领域。

2017年10月，深鉴科技正式召开了第一次发布会，推出了六款AI产品，分别是人脸检测识别模组、人脸分析解决方案、视频结构化解决方案、ARISTOTLE架构平台，深度学习SDK DNNDK、双目深度视觉套件。

芯片方面，则公布了最新的芯片计划，由深鉴自主研发的芯片“听涛”、“观海”将于2018年第三季度面市。其中，“听涛”系列芯片，采用台积电28纳米制程，核心使用深鉴自己的亚里士多德架构，峰值性能1.1瓦 4.1 TOPS，预计将于上半年完成产品装载。

从官方提供的数据来看，其嵌入式端的产品在性能超过Nvidia TK1 的同时，功耗、售价仅为后者的1/4左右。服务器端的产品，性能接近Nvidia K40 GPU ，但功耗只有35瓦左右，售价300美元以下，不足后者的1/10。这些产品将主要应用在无人机、安防监控、机器人、AR等领域，目前已经与一家知名无人机厂商建立了合作。

中星微电子

1999年,在国家工业和信息化部（原信息产业部）的直接领导下，在发改委、财政部、科技部、商务部、北京市人民政府和中关村管委会等有关部门的大力支持下，由多位来自硅谷的博士企业家在北京中关村科技园区创建了中星微电子有限公司，启动并承担了国家战略项目——“星光中国芯工程”,致力于数字多媒体芯片的开发、设计和产业化。

近二十年来，“星光”数字多媒体芯片产品广泛应用于个人电脑、宽带、移动通讯和信息家电等高速成长的多媒体应用领域, 产品销售已经覆盖了欧、美、日、韩等16个国家和地区，客户囊括了索尼、三星、惠普、飞利浦、富士通、罗技、华为、联想等大批国内外知名企业, 占领了全球计算机图像输入芯片60%以上的市场份额,使我国集成电路芯片第一次在一个重要应用领域达到全球领先地位,彻底结束了“中国无芯”的历史。2005年，中星微电子在美国纳斯达克证券市场成功上市，成为第一家在纳斯达克上市的具有自主知识产权的中国芯片设计企业。

2016年6月20日，中星微率先推出中国首款嵌入式神经网络处理器（NPU）芯片，这是全球首颗具备深度学习人工智能的嵌入式视频采集压缩编码系统级芯片，取名“星光智能一号”。这款基于深度学习的芯片运用在人脸识别上，最高能达到98%的准确率，超过人眼的识别率。该NPU采用了“数据驱动”并行计算的架构，单颗NPU（28nm）能耗仅为400mW，极大地提升了计算能力与功耗的比例。

目前“星光智能一号”出货量主要集中在安防摄像领域，其中包含授权给其他安防摄像厂商部分。未来将主要向车载摄像头、无人机航拍、机器人和工业摄像机方面进行推广和应用。

华为

华为麒麟970是华为于2017年9月2日在柏林消费电子展上正式对外发布的新款内置人工智能（AI）芯片。这款芯片将被用于华为下一代智能手机，主要用于抗衡对手苹果和三星电子公司。

该芯片采用了行业高标准的TSMC 10nm工艺，集成了55亿个晶体管，功耗降低了20%，并实现了1.2Gbps峰值下载速率。创新性集成NPU专用硬件处理单元，创新设计了HiAI移动计算架构，其AI性能密度大幅优于CPU和GPU。相较于四个Cortex-A73核心，处理相同AI任务，新的异构计算架构拥有约 50 倍能效和 25 倍性能优势，图像识别速度可达到约2000张/分钟。

高性能8核CPU，对比上一代能效提高20%。率先商用 Mali G7212-Core GPU，与上一代相比，图形处理性能提升20%，能效提升50%，可以更长时间支持3D大型游戏的流畅运行。

鲲云科技

鲲云科技于今年11月初完成了Pre-A轮融资，由星瀚资本领投，深圳云创、拓金资本跟投。公司目前正在进行A轮融资。

鲲云科技研发的星空和雨人两款AI芯片平台，可嵌入现有物联网产品对数据信息和视觉信息实时分析，监测异常数据提取有效信息，3W-10W低功耗使芯片支持移动、野外场景。针对30多层的深度学习网络，其芯片也可保证每秒处理16帧1080P分辨率的图像。

星空芯片主要基于历史数据及产品运用领域的准则对异常数据进行自动化检测，它每秒可对160G的时间序列数据进行实时分析。

雨人芯片基于深度学习算法，能够对复杂环境下的视觉信息分析理解。信用卡大小使其可嵌入视觉数据采集端，功耗为3W-10W，延迟不超过100ms。

目前，鲲云科技自主研发的产品和技术已经迭代到第二代，预计明年将会推出第三代产品，在功耗和性能方面将会有进一步的优化，并根据需要推出量产FPGA或者芯片。

——国外篇——

英伟达

虽然提起英伟达，大家第一反应还是其GPU和云端处理器，但其实英伟达也没放过设备端的低功耗AI芯片，尤其是在自动驾驶领域。

在5月的美国GTC大会上，英伟达宣布Xavier DLA面向所有开发者开源。Xavier是英伟达在2016年欧洲GTC大会上推出的最新自动驾驶SoC，结构上主要是由一组八核ARMv8处理器加上512个最新一代的Volta Cudacore组成，性能方面达到20 TOPS (基于8比特整数运算)，同时只有20 w的能耗。它的创新之处在于，整合了CPU、GPU以及DLA三大处理器的优点。Xavier同时具备CPU的单线程性能，CUDA的并行加速能力，以及DLA的计算机视觉特殊功能。最新发布的Xavier集成了新的Volta GPU架构DLA是里面的inference加速器。

谷歌

谷歌在2016年的I/O大会上推出了专门为加速深层神经网络运算能力而研发的一款AI芯片——张量处理器TPU（第一代）。谷歌表示，尽管在一些应用上利用率很低，初代TPU平均比那时候的GPU或CPU快15-30倍，性能功耗比（TOPS/Watt）高出约30-80倍。

图：TPU芯片布局图

2017年5月I/O大会上，谷歌发布了第二代TPU，峰值性能达到180TFLOPS/s。第一代TPU只加速推理，但第二代TPU新增了训练的功能。不仅如此，谷歌的用户还能通过专门的网络，在云端利用TPU构建机器学习的超级计算机。

在第二代TPU里，每个TPU都包含了一个定制的高速网络，构成了一个谷歌称之为“TPU舱室”（TPU POD）的机器学习超级计算机。一个TPU舱室包含64个第二代TPU，最高可提供多达11.5千万亿次浮点运算，内存400万兆字节，4倍快于当时市面上最好的32台GPU。

Cloud TPU带来的最大好处，则是谷歌的开源机器学习框架TensorFlow。TensorFlow现在已经是Github最受欢迎的深度学习开源项目，Cloud TPU出现以后，开发人员和研究者使用高级API编程这些TPU，这样就可以更轻松地在CPU、GPU或Cloud TPU上训练机器学习模型，而且只需很少的代码更改。

Mobileye（英特尔）

Mobileye 是以色列一家生产协助驾驶员在驾驶过程中保障乘客安全和减少交通事故的视觉系统的公司。公司在单目视觉高级驾驶辅助系统 (ADAS) 的开发方面走在世界前列，例如车道偏离警告 (LDW)、基于雷达视觉融合的车辆探测、前部碰撞警告 (FCW)、车距监测 (HMW)、行人探测、智能前灯控制 (IHC)、交通标志识别 (TSR)、仅视觉自适应巡航控制 (ACC) 等。

Mobileye并不只是一家无人驾驶软件公司，还是一家半导体芯片公司。公司供应的SoC芯片是旗下高级驾驶辅助系统（ADAS）的核心，对应的产品为支持无人驾驶的EyeQ系列芯片。2017年3月13日，英特尔宣布以每股63.54美元现金收购Mobileye，股权价值约153亿美元。

2017年12月，英特尔旗下Mobileye宣布将在2018年发布EyeQ4，2020年发布EyeQ5处理器，都针对无人驾驶平台设计，主打超低功耗，EyeQ5采用7nm FinFET制程工艺，而且支持双路系统，拥有更优秀的表现。

英特尔还公布了一组数据，对比了Mobileye? EyeQ5?和NVIDIA’s Xavier*深度学习效能，结果显示，Mobileye 的系统芯片能够提供更卓越的深度学习效能。英特尔表示，Mobileye EyeQ5将提供每瓦特2.4 DL TOPS（万亿次/每秒）的效能——这一数字比NVIDIA公开宣称的Xavier效能要高2.4倍。

Movidius（英特尔）

Movidius是一家专注于计算机视觉的创业公司，也是谷歌ProjectTango 3D传感器技术背后的功臣。2016年9月，英特尔宣布将收购Movidius。

2017年8月，英特尔发布了下一代Movidius视觉处理芯片，该芯片可提高尖端设备的处理能力，比如无人机、VR头盔、智能摄像头、可穿戴设备和机器人。其上最新的视觉处理单元（Vision Processing Unit，简称VPU）采用的是Myriad X系统级芯片，它配备了一个专用的神经计算引擎，支持边缘深度学习推断。芯片上的硬件块是专门针对深层神经网络而设计的，它以高速和低功耗来运行深层神经网络。英特尔说，深度神经网络加速器可以在DNN推断时实现每秒1万亿次运算。

苹果

苹果在今年发布的iPhone X中首次使用了A11 Bionic芯片。A11Bionic是一个六核处理器，有两个性能核心，四个能效核心——高低能效两种内核可以根据不同的需要，来达到理想的性能与能效表现。其中高能效内核用于应付密集型的重度任务，提升处理速度保证性能，而高能效内核则应用于日常事务，低能耗运行，从而保证电池续航能力的提升，享受更长的单次充电续航时间；工艺方面，A11采用了台积电10nm FinFET工艺，集成了43亿个晶体管。根据苹果给出的数据，A11比上一代快25%，能效提升了70%。

AI方面，A11 Bionic芯片上搭载了一个专用于机器学习的硬件——神经网络引擎（neural engine）。A11的神经网络引擎采用双核设计，每秒运算次数最高可达6000亿次，相当于0.6TFlops（寒武纪NPU则是1.92TFlops，每秒可以进行19200次浮点运算），以帮助加速人工智能任务，即专门针对Face ID，Animoji和AR应用程序。

A11同时支持Core ML，这是苹果在今年WWDC开发者大会上推出的一款新型机器学习框架。Core ML支持所有主要的神经网络，如DNN、RNN、CNN等，开发者可以把训练完成的机器学习模型封装进App之中。

NovuMind（异构智能）

NovuMind（异构智能）是由百度前人工智能杰出科学家吴韧博士带领一批全球顶尖的AI技术人才于 2015 年 8 月在美国加州硅谷成立的 AI 公司，主要为汽车、安防、医疗、金融等领域提供 ASIC 芯片，并提供芯片+模型+训练的全栈式 AI 解决方案。2016年12月，NovuMind获得洪泰基金、宽带资本、真格基金、英诺天使和臻迪科技等1500 多万美元的A轮融资，据悉该团队正在进行B轮融资。目前团队共有 50 余人，包括在美国的 35 名以及北京的 15 名顶尖技术工程师。

相较于英伟达的GPU 或 Cadence 的DSP等通用的深度学习芯片设计，NovuMind 专注于开发更有效进行推理 (interference)的深度学习加速器芯片。NovuMind AI 芯片的重点在于，不仅让一个小型的本地“终端”设备具有“看”的能力，而且还具备“思考”以及“识别”的能力，另外，这些都不需要通过数据中心的支持，不占用任何带宽，吴博士将之称为智能物联网（I2oT，Intelligent Internet of Things）。

NovuMind的产品暂未发布。据介绍，其芯片仅使用3X3卷积过滤器，通过使用独特的张量处理器架构直接对三维Tensor进行处理，新芯片将支持Tensorflow，Cafe和Torch模型。

NovuMind 的第一款 AI 芯片原型会在2018年1月CES上首次亮相。吴博士表示，到明年 2 月份，他希望应用程序都准备就绪，并能够在该芯片上实现耗能不超过 5 瓦进行 15 万亿次运算（15 TOPS）；而 NovuMind 的第二款芯片，耗能将不超过 1 瓦，计划在 2018 年中期面世。

Gyrfalcon

Gyrfalcon今年初在硅谷成立，旨在开发低成本、低功耗、高性能的人工智能处理器，创始人均为硅谷华人人工智能科学家和半导体芯片资深工程专家及企业家。

Gyrfalcon第一代人工智能处理器芯片Lightspeeur2801S已于今年九月从TSMC下线，该芯片采用28nm工艺，拥有5.6 TOPS/Watt 的能效比，侧重于边缘推理模式，在人工智能边缘计算与数据中心机器学习领域相比市场上其他方案高出几个数量级。

Lightspeeur是基于Gyrfalcon自主APiM架构，该架构使用内存作为人工智能处理单元，能够消除在其他架构中的大量数据移动，极大降低功耗。这一架构支持真正的片上并行和原位计算，成功克服了由存储器带宽而导致的性能瓶颈。

Lightspeeur2801S约有28000个并行计算核，不需要使用外部存储单元用于人工智能推断，在图像处理速度达140帧/秒时功耗小于0.3瓦，支持卷积神经网络(CNN)、残差网络(ResNet)、循环神经网络(RNN)和长短期记忆(LSTM)等神经网络模型，其分布式内存块结构对CNN计算相当友好并且支持多层结构，每层的尺寸可以不同，内置模型压缩算法能够实现快速且低功耗的CNN计算。此外，Lightspeeur还同时支持Caffe、TensorFlow和MXNet等标准的开源深度学习系统。

groq

groq是由谷歌TPU初始团队离职创建的AI芯片公司，核心成员包括Google TPU的主要设计者之一Jonathan Ross。

官网资料显示，Groq将在2018年发布第一代AI芯片产品。这款芯片的运算速度将可以达到400万亿次每秒，每瓦特能进行8万亿次的运算。而谷歌最新一代的TPU才达到每秒180万亿次运算，Groq芯片的性能将会是谷歌TPU的两倍多。

王之蔑视的图，大家感受一下~

往期热文（点击文章标题即可直接阅读）：

《共享单车上的智能锁，做出来有多难？》

《认知计算、区块链IoT、物联网安全…看懂的人将控制未来》

《库卡、ABB、发那科、安川，4大工业机器人巨擘早已在物联网领域屯兵养马》

《【重磅】物联网产业全景图谱报告，首开国内IoT产业二维视角全景图之先河》

《一幅漫画告诉你：除了WiFi，蓝牙，最近火爆的NB-IoT能干嘛？》

《一幅漫画告诉你：NB-IoT背后，还有一个大家都在说的LoRa是什么？》