能效比|OPPO自研影像专用NPU背后，成为AI赛道黑马的野心腾讯系|腾讯公司|App|QQ音乐|i

文章插图
智东西（公众号：zhidxcom）
作者 | 云鹏
编辑 | 漠影
如今每个人对于“AI”这个名词或许都能聊上两句。各类智能硬件设备不断深度介入我们的生活中，大到智能汽车、小到一部手机。
在智能硬件爆发的背后，AI算法也在快速迭代发展，算法模型越来越复杂，对于硬件的要求也更高，“AI芯片”这个概念也成为了近几年来AI产业关注的焦点之一。
其实，能够用于人工智能应用、实现AI加速的模块，都可以称为广泛意义上的AI芯片。比如我们大多数人手机处理器中的NPU（神经网络处理器）模块，就是一种AI芯片。
就在两天前，OPPO发布了自家第一个自研芯片，这是一个专门用于影像处理的NPU芯片，名为马里亚纳 X，与世界上最深的海沟“同名”，OPPO要趟自研芯片这最深的水。

文章插图
面向AI应用的全新DSA架构、台积电6nm先进工艺以及40倍的AI能效比提升，马里亚纳 X将手机计算影像推向了“4K+20bit RAW+AI+Ultra HDR”的时代，同时，也首次将AI影像算法与传感器、SoC进行了垂直整合，完成了影像链路的闭环。
一句话来说，马里亚纳 X作为开发专用AI算法，到算力硬化全链路垂直整合能力标准对芯片，弥合了AI算法与硬件之间的鸿沟，成为加速AI算法落地的“桥梁”。

文章插图
正如OPPO创始人兼首席执行官陈明永所说，OPPO已经走入了技术研发的“深水区”，对于OPPO来说，马里亚纳 X的落地证明了OPPO自研芯片的技术与能力，而对于AI产业来说，马里亚纳 X或许为AI在移动领域的加速落地提供了新的思路。
一、AI能效比暴涨40倍，算法落地视频成为可能，DSA架构剑指计算影像从芯片技术架构来看，常见的AI芯片主要有通用芯片（CPU、GPU）、半定制化芯片（FPGA）、全定制化芯片（ASIC）、类脑芯片以及软件定义硬件芯片五大类。
马里亚纳 X这枚NPU主要用于手机影像计算领域，相对来说应用更专一，并且芯片专门为提升OPPO手机的影像体验而定制对专用AI芯片，其中既有接近ASIC芯片的专用性而带来的超高效率，同时又具备AISC所没有的灵活性。
目前通用手机SoC中都包含了ISP（图像信号处理）模块，顾名思义，ISP的主要作用是对图像传感器采集到的信息进行处理，它也是一种ASIC芯片，但大都集成于手机SoC中。
而ISP与马里亚纳 X最核心的区别就在于ISP并不具备AI性能，在SoC中必须要依靠另外的AI计算单元来配合。例如苹果A系列芯片的ISP，也需要依赖整个芯片的Neural Engine提供AI的算力支持。
马里亚纳 X的AI算力达到了18TOPS，已经可以比肩苹果A15，而在峰值算力强劲的同时，实现较好的能效是OPPO更加看重的，这一点在手机这类移动设备上显得尤为重要。

文章插图
马里亚纳 X能够做到11.6TOPS/W的能效比，这是移动设备中罕见的两位数对能效比性能，意味着手机能够在消耗既定电量都条件下，能够处理更加大量的数据。值得一提的是，该结果是基于真实落地商用的复杂AI算法和随机生成图片得来，实际上，如果基于现实世界的人像、风景等真实图片进行处理，马里亚纳 X的能效比还会更高。
与搭载骁龙888的Find X3 Pro进行对比，马里亚纳 X运行OPPO自研AI降噪模型的性能可以达到40FPS，大约是OPPO Find X3的20倍。在此基础上，马里亚纳 X的功耗仅有800毫瓦，仅为OPPO Find X3上骁龙888的一半，因此能效比达到了40倍，这种提升无疑是一种“质变式”的。

文章插图
实际上，虽然手机计算摄影发展多年，但大多数AI算法仍然只能针对单张或者多张照片进行处理，比如AI美颜、AI夜景拍照的后处理，本质上依然是以时间换计算，如果要算的更多，那意味着消费者往往需要在拍摄后等待更久的处理。
但这样的算法，面对需要实时处理大量视频拍摄却很难应用。因为在视频拍摄中，AI算法运行最低性能门槛也要有30FPS，这意味着芯片需要提供30倍以上的性能，才能让后处理的算法，能够实时去运行。
可以说，马里亚纳 X让算法在视频端的应用从不可能变为了可能，这对于AI算法应用效果的提升来说是“从量变到质变”。
基于这样的AI性能及高能效比，马里亚纳 X在手机影像领域实现了诸多突破。