「Google」精度延迟两不误,移动端性能新SOTA,谷歌TF开源轻量级EfficientNet |中央处理器|硬件|Swish|

机器之心报道
机器之心编辑部
我们都知道，谷歌在 2019 年 5 月推出了一种用于图像分类的新模型——EfficientNet ，该模型在使用更少参数、消耗更少算力的情况下，达到了目前图像分类 SOTA 的准确度。这令人不由自主地联想到，如果能让 EfficientNet 运行在计算资源受限的移动设备上，是否会为移动或物联网等设备开拓出新的应用场景呢？TensorFlow 最新的博客给出了答案。
今天，谷歌在 GitHub 与 TFHub 上同时发布了 EfficientNet-Lite ，该模型运行在 TensorFlow Lite 上，且专门针对移动设备 CPU、GPU 以及 EdgeTPU 做了优化。 EfficientNet-Lite 为边缘设备带来了 EfficientNet 上强大的性能，并且提供五个不同版本，让用户能够根据自己的应用场景灵活地在低延迟与高精度之间选择。
项目地址：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite

本文插图
即便是 EfficientNet-Lite4 这个计算量最大的版本，在 ImageNet top-1 上达到 80.4% 分类精度的同时，也能够实时（30ms/image）运行在 Pixel 4 的 CPU 上。 EfficientNet-Lite 与目前流行的图像分类模型对应量化版本的性能比较如下图所示：

本文插图

本文插图
图 1. 在 Pixel 4 CPU 上开启四个线程时各模型经过 INT8 量化后的性能比较。
量化与异构硬件方面的难题
由于边缘设备的一些特性，使得 EfficientNet 在其上运行面临着很多挑战。
首先是量化问题。由于浮点运算在边缘设备上的支持有限，需要对模型进行量化处理。然而，这一过程往往涉及复杂的量化感知训练（伪量化），或降低训练后量化模型的准确率。
幸运的是，借助 TensorFlow Lite 中提供的训练后量化流程来对模型进行量化处理，能够在最大程度上降低对其准确率的影响。
其次是异构计算设备带来的问题。要想在移动设备 GPU 或 EdgeTPU 这一类大范围的硬件加速器上，运行同样的模型是一件非常有挑战的事。由于这类硬件针对其应用场景进行了高度定制，它们仅在有限的运算操作上具有良好性能。谷歌的工程师就发现，一些特定硬件加速器并不能很好地支持 EfficientNet 中的一些运算。
为解决以上问题，谷歌对原本的 EfficientNet 做了如下改进：

去除 squeeze-and-excitation 网络，因为其在异构计算设备上支持欠佳
使用 RELU6 替代所有的 swish 激活函数，这一操作极大地提升了训练后量化的质量
放缩模型尺寸时固定住其 stem 与 head 模块以减少放缩后模型的尺寸与计算量

利用 TensorFlow 模型优化工具包进行训练后量化
得益于 TF 模型优化工具包，研究者利用整型训练后量化（integer-only post-training quantization）即可以轻松地对模型进行量化，同时准确度也不会有太多损失。这样就可以将模型大小减少至原来的 1/4 ，推理速度提升至原来的 2 倍。
下图是 EfficientNet-Lite0 浮点模型与其量化版本在准确度和延迟两个方面的对比情况：

「Google」精度延迟两不误,移动端性能新SOTA,谷歌TF开源轻量级EfficientNet

本文插图
在 4 线程 Pixel 4 CPU 上进行基准测试。
研究者还分享了一些有关训练后量化的经验。他们表示，在首次尝试利用训练后量化时，准确度出现了大幅度下降：ImageNet 数据集上的 Top-1 准确度由 75% 降至 46% 。之后，研究者发现准确度的大幅下降是由量化输出范围过大造成的。在本质上，量化是对浮点值进行仿射变换（affine transformation），从而拟合 8 位整型的（int8）bucket：