coco|用软件解决硬件问题，「CoCoPIE」实现实时本地AI( 二 ) jakkal|微软|账户|密码化|密码

在CoCoPIE看来，现有的通用芯片拥有很强的计算能力，却并没有针对AI任务进行很好的优化，因此造成了某种程度上的浪费，应当用技术把它们充分利用起来，激发它们的潜能。
而这项技术就是压缩—编译协同优化。
压缩和编译，二者是在硬件上拟合深度学习模型以实现高效执行的两个关键步骤。
“压缩”是减少深度学习模型大小和提高速度的常用技术；“编译”主要指基于给定的深度学习模型生成可执行代码的过程。针对这两个模块，公司设计了CoCoPIE技术框架的两个组件：CoCo-Gen和CoCo-Tune。
CoCo-Gen将基于模式的DNN剪枝与基于模式的感知生成代码相协同，生成高效的 DNN 执行代码；CoCo-Tune则能够显著缩短确定要修剪的适当DNN参数集的过程。
在将CoCo-Gen和CoCo-Tune从组件、视角、方法论三个层面进行协同优化后，同一终端芯片上最高可以达到180倍的提速。
如此一来，利用CoCoPIE的技术，能够让AI模型在此前不能搭载的通用芯片上运行，让通用芯片也可以达到专用芯片的效果。且通用芯片的数量多，价格更低，一定程度上，也为车企节省了成本。
目前，CoCoPIE已经成功地在几百美金级别的芯片上，实现了在一万美金级别的无人驾驶专用芯片上才能实现的功能与性能。
CoCoPIE的多任务的scheduling技术也在业内处于领先水平。王言治告诉创业邦，“CoCoPIE有独有的技术，即在芯片上做一个模型优化与调度的动态协同设计。在此之前，一个芯片一次只跑一个任务，但加入我们这项技术后，可以在以相差无几的速度下，达到一个芯片一次跑五到六个任务，更加充分地利用了芯片的价值。用一个通用的平台加上我们的框架后，可以达到甚至超过一些专用芯片，或者让一个芯片发挥两个芯片的作用。这不仅对‘芯片荒’有所缓解，对芯片的能耗优化也不可小视。”
在智能汽车领域之外，CoCoPIE亦能发挥不小的作用。
现阶段，各家人工智能企业都想实现AI everywhere的场景，终端设备的智能化成了一个亟待突破的技术瓶颈。
然而要想人工智能真正地融入到人们的日常生活中，昂贵、复杂的硬件显然不是最好的办法，一个几乎完美的现有渠道就是手机。
现在AI在主流终端硬件上的实现方式就是云端计算，即从用户端将数据传到云端服务器来做运算，处理完后云端将结果再发回至设备。比如家里的智能锁、手机的AI换脸特效，都需要经历这样的流程：将面部的数据、指纹的数据上传到云端进行运算处理，处理后再发回至设备上。
这样就有三个弊端，一是不管距离服务器有多近、处理数据的速度有多快，都会有延时；二是应用程序的运营方需要购买服务器、运营服务器，需要负担宽带成本，这其实对运营方来说是一笔巨大的开支；三是在网络环境不好的区域，无法使用AI技术。
那如何解决这些问题呢？CoCoPIE给出的答案是将AI的相关运算在边缘设备上完成。
基于CoCo-Gen和CoCo-Tune，CoCoPIE实现了很多AI应用的移动实时化。如在手机上实现基于BERT的问答、文本生成等经典NLP任务。在CV方面，动态物体检测、声纹识别、行为识别、高帧率分辨率图像视频压缩还原、风格迁移上色等应用也能在手机端实时运行。
以上技术为自动驾驶、公安监控、流媒体、人机对话等的广泛应用提供了技术基础。
这项技术将帮助应用运营方减少运营成本及带宽成本。同时通过克服网络问题、减少延时，为用户提供更优质的数字媒体体验。
目前，CoCoPIE的客户包括腾讯、Cognizant等。在与腾讯合作的过程中，CoCoPIE将其在终端的压缩-编译技术应用在腾讯的服务器端，帮助腾讯企业增强人工智能的端侧部署能力。Cognizant则是一家全球顶级的软件外包服务商，CoCoPIE用技术帮助其大量的客户实现人工智能的本地化运行。
在谈到目前最大的挑战时，王言治坦言，“目前最大的问题就是缺人，所有问题中，No. 1 就是如何快速招到合适的人。”未来，CoCoPIE除了要扩充在美国的团队人数外，还计划在中国成立一个20多人的团队，目标是在明年拥有一个总人数50人的队伍。
今年8月，CoCoPIE完成了数千万元的A轮融资，投资方包括红杉种子基金、初心资本等机构。王言治表示，这轮融资将主要用在解决团队缺人的问题上。据了解，CoCoPIE的下一轮融资也正在进行中。
现阶段，CoCoPIE的技术处在一片蓝海中。市面上将压缩编译协同在一起工作的企业并不多。以CoCoPIE为代表的、致力于在IoT和移动端推进实时人工智能的企业，将成为未来AI软件生态系统的重要组成部分。据CoCoPIE测算，这项技术正在包括loT、数字媒体、半导体在内的万亿美金市场中发挥着重要作用。