汇总｜实时性语义分割算法（全）( 二 ) 作者：明泽Danny来源：公众号

但增加更多的encoder-decoder分支会导致参数增加，训练变得困难，所以作者又采用了Shared-weights residual block（参数共享残差块），如下图所示。
文章插图
【17】ShuffleSeg实时语义分割网络
《SHUFFLESEG: REAL-TIME SEMANTIC SEGMENTATION NETWORK》
链接：
嗯。。。这篇文章没深刻说的哈哈
该架构将分成两个主要模块进行解释：负责提取特征的编码模块，负责在网络中进行上采样以计算最终类别的概率图的解码模块。
文章插图
1）基于ShuffleNet (Shufflenet: An extremely efficient convolutional neural network for mobile devices) 提出的分割网络
2）编码器使用ShuffleNet 单元，解码器综合了 UNet、FCN8s 和 Dilation Frontend 的结构；速度快，没有什么创新。。。。
【18】RTSeg：实时语义分割比较研究
《RTSeg: REAL-TIME SEMANTIC SEGMENTATION COMPARATIVE STUDY》
链接：
提供特征提取和解码方法，称为元架构；
给出了计算精度和计算效率之间的权衡；
Shufflenet比segment减少了143x gflops；
模型结构：
文章插图
文章插图
使用空洞卷积代替下采样的feature map ，空洞卷积确保网络维持足够的感受野而不需要通过pooling和stride conv来破坏像素结构；
Meta-Architectures
1）SkipNet meta-architecture；
2）U-Net meta-architecture；
3）Dilation Frontend meta-architecture；
【19】ContextNet:实时为语义分割探索上下文和细节
《ContextNet: Exploring Context and Detail for Semantic Segmentation in Real-time》
链接：
模型结构：
文章插图
ContextNet利用更深层的网络，增加的层数有助于学习更复杂和抽象的特征，从而提高准确性，但也增加了运行时间。聚合来自多个分辨率的上下文信息是有益的，结合了多个级别的信息以提高性能。
Depth-wise Convolution to Improve Run-time：
深度可分离卷积将标准卷积(Conv2d)分解为深度上的卷积(DWConv) ，也称为空间或通道上的卷积，然后是1×1的点卷积层。因此，跨通道和空间相关性的计算是独立的，这大大减少了参数的数量，导致更少的浮点运算和快速的执行时间。
ContextNet利用了DWConv ，输入下采样的子网使用了DWConv的瓶颈残差块。
Capturing Global and Local Context：
ContextNet有两个分支，一个是全分辨率(h×w) ，另一个是低分辨率(如h/4 w/4) ，输入图像高度h ，宽度w 。每个分支都有不同的职责；后者捕捉图像的全局上下文，前者为更高分辨率的分割提供细节信息。

为了快速提取特征，语义丰富的特征只从最低可能的分辨率提取；
局部上下文的特征通过一个非常浅的分支从全分辨率输入中分离出来，然后与低分辨率的结果相结合。

【20】CGNet：一个轻量级的上下文引导的语义分割网络
《CGNet: A Light-weight Context Guided Network for Semantic Segmentation》
链接：
该文分析了语义分割的内在特性，提出了学习局部特征和周围上下文的联合特征，并进一步改进全局上下文的联合特征的CG块。有效的利用 local feature, surrounding context and global context 。其中的CG块，在各个阶段有效地捕获上下文信息。 CGNet的主干是专门为提高分割精度而定制的，以减少参数的数量和节省内存占用。在相同数量的参数下，提出的CGNet显著优于现有的分割网络(如ENet和ESPNet) 。
模型结构：

文章插图
在CG block引入残差学习，两种方式：local residual learning (LRL) 和global residual learning (GRL) ，如下图所示：

文章插图
由CG block定义CGNet：较少的卷积层和较少的通道数，从而减少参数量。

文章插图

文章插图
个人观点：
1）CGNet进一步拓展了non-local的概念，从local,surrounding和global三个层次获取空间特征间的关联。
2）在CGNet的stage2和stage3都使用GC block ，区别于non-local中只有resnet部分stage和部分blcok之间引入non-local机制。