深度模型压缩技术在智能座舱方案的探索与实践作者:Neil来源:微信公众号:滴滴

作者:Neil
来源:微信公众号:滴滴技术
【深度模型压缩技术在智能座舱方案的探索与实践】出处:;mid=2247513231 --tt-darkmode-bgcolor: #131313;">桔妹导读：近年来，智能汽车的概念已经成为了主流的发展趋势。汽车座舱在智能汽车的场景中成为关键一环。将汽车座舱智能化可以提高整体乘客乘坐品质和驾驶员行驶体验，智能座舱的功能丰富，其中多数核心算法是基于深度学习的视觉算法。但是，由于智能座舱终端的运算资源有限，深度模型尺寸庞大、计算量需求大，因此，当同时运行多个深度模型算时，会导致终端运算资源不足，算法响应慢，很难满足实时性的需求。本文重点介绍内容是模型压缩关键的技术原理、方法以及在汽车座舱的场景中的应用。同时也介绍了技术团队在模型剪枝方面的突破性工作。
1.
概况
▍ 1.1 背景
近年来，随着人工智能、通信、汽车电动化等技术发展，智能汽车的概念已经成为了主流的发展趋势。在自动驾驶到来之前，汽车座舱的场景正在成为智能汽车发展中的不可或缺环节。将汽车座舱智能化可以提高整体乘客乘坐品质和驾驶员行驶体验，因而智能座舱产品逐步走进大众视野，相关市场也得到较快发展。据统计， 2019年中国智能座舱行业市场规模高达百亿元，随着中国市场的消费升级，大众对驾驶与乘坐的体验的需求不断提升，中国智能座舱行业的市场规模将保持高速增长，预计到2025年，市场规模可达千亿元。
文章插图
图1 智能座舱
▍ 1.2 技术挑战
智能座舱的功能丰富，其中绝大多数核心算法是基于深度学习的视觉算法。但是，在智能座舱终端上运行多种不同任务的深度模型是一个很大的挑战。由于终端的运算资源有限，包括内存、CPU、存储等，深度模型往往尺寸庞大、计算量需求大，因此，当同时运行多个深度模型算法时，会导致终端运算资源不足，算法响应慢，很难满足实时性的需求。为了解决在运算资源有限的终端上运行深度模型并保证其实时性，深度模型压缩成为至关重要的技术。
2.
深度模型压缩技术
随着深度学习在视觉领域的飞速发展，越来越多的深度模型算法在不同任务上的性能表现超越了传统的视觉算法。首先，我们先介绍视觉领域中常见的深度模型。图 2展示了一个通用的深度卷积模型，深度卷积模型主要组成部分有卷积层（Conv Layer）、池化层（Pooling Layer）和全连接层（Fully Connected Layer）。其中，卷积层的主要作用是特征提取，在一个卷积层中，通常由若干个卷积核（filter）构成。卷积核也包含各类参数，例如卷积核大小（1x1 ， 3x3等）、步长大小（stride）等。池化层的作用主要是降低特征图的维度。全连接层一般是负责对提取的特征进行分类。
深度模型压缩技术主要是压缩什么呢？最主要是找到模型中不同层面的冗余，其中包括权重的数量以及权重的表达位数。我们将介绍三种主流的深度模型压缩技术，模型剪枝、模型量化以及知识蒸馏。
文章插图
图2 通用的深度卷积模型
▍ 2.1 剪枝（weight pruning）
深度模型实际是由若干的权重矩阵所构成，其中有些权重对结果影响比较小，甚至有负面影响，深度模型剪枝技术可以将这些不重要的权重进行裁剪,减少深度模型结构中的参数量的冗余，从而达到压缩模型的目的。
剪枝可以对任意位置的权重进行剪枝，通常叫做非结构化剪枝（unstructured pruning），对权重进行结构性的剪枝即为结构化剪枝（structured pruning）。图 3上半部分展示了不同维度的三种结构化剪枝，包括输出通道剪枝（filter pruning），输入通道剪枝（channel pruning）以及输出通道形状剪枝（filter shape/column pruning）。输出通道剪枝是直接删除一个卷积层中的一个卷积核。输入通道剪枝是删除一个卷积层中每个卷积核对应的相同位置的输入通道。输出通道形状剪枝是删除一个卷积层中每个卷积核上相同位置的权重。图 3下半部分展示了推理过程中卷积层展开的通用矩阵乘法（GEMM ， General Matrix Multiply）的权重矩阵。在该矩阵中，每行代表一个卷积核（对应filter pruning），每列对应的是每个卷积核上相同位置的权重（对应filter shape pruning）。一段连续列则代表一个输入通道（对应channel pruning）。