[]200倍的提速！华人博士生提出大场景三维点云语义分割新框架( 三 )

随机采样&局部特征聚合模块组合，组建RandLA-Net
Overview
如下图所示，对于一个覆盖数百米范围、由百万量级的点组成的大场景点云而言，如果希望将其直接输入到深度神经网络中进行处理，那么持续有效地对点云进行逐步地降采样，同时尽可能地保留有用的几何结构信息是非常有必要的。

本文插图
图 3. 网络结构的大致流程图
The quest for efficient sampling
为了寻找到一种高效的降采样方法。我们首先对现有的的降采样方法进行研究：主要可以分为Heuristic Sampling以及Learning-based Sampling两大类：
(1) Heuristic Sampling

Farthest Point Sampling (FPS)：顾名思义，也就是每次采样的时候都选择离之前采样得到的 k-1个点距离最远的点。 FPS能够比较好地保证采样后的点具有较好的覆盖率，因而在点云分割领域被广泛地使用(e.g., PointNet++, PointCNN, PointConv, PointWeb) 。然而， FPS的计算复杂度是，计算量与输入点云的点数呈平方相关。这表明从FPS可能不适合用来处理大规模点云。举例来说，当输入一个具有百万量级点的大场景点云时，使用FPS将其降采样到原始规模的10%需要多达200秒。
Inverse Density Importance Sampling (IDIS): 这个也比较好理解，简而言之就是根据每个点的密度来对其重新进行排序，尽可能地保留密度比较低的地方的点。 IDIS [5] 的计算复杂度近似为 (取决于如何计算每个点的密度) 。相比于FPS, IDIS显然更加高效，但IDIS对噪点(outliers)也更加敏感。
Random Sampling (RS): 随机降采样均匀地从输入的 N 个点中选择 K 个点，每个点具有相同的被选中的概率。 RS的计算复杂度为 , 其计算量与输入点云的总点数无关，只与降采样后的点数 K 有关，也即常数时间复杂度。因而具有非常高的效率以及良好的可扩展性。与FPS和IDIS相比， RS仅需0.004s即可完成与FPS相同的降采样任务。

(2) Learning-based Sampling

Generator-based Sampling (GS)：与传统降采样方法不一样，这类方法通过学习生成一个子集来近似表征原始的点云。 GS [6,7] 是一种task-oriented, data-driven的learnable的降采样方法，但问题在于inference阶段需要将生成的子集与原始点云进行匹配，这一步依赖于FPS matching ，进而引入了更多额外的计算。使用GS将百万量级点的大场景点云降采样到原始规模的10%需要多达1200秒。
Continuous Relaxation based Sampling (CRS): CRS [8,9] 使用reparameterization trick来将non-differentiable的降采样操作松弛(relax)到连续域使得端到端训练变成可能。 CRS采样后得到的每个采样点其实都是整个点云的一个加权和(weighted sum) 。具体来说，对于一个大场景的输入点云(size: N×3) ， CRS通过学习得到一个采样矩阵 (size: K × N) (最终会非常稀疏), 最后采样矩阵左乘输入点云即可实现降采样。然而，当 N 是一个非常大的值时(e.g. 10^6), 这种方式学习到的采样矩阵会带来非常大的内存消耗。举例来说，使用CRS将百万量级点的大场景点云降采样到原始规模的10%需要多达300GB的GPU内存。
Policy Gradient based Sampling (PGS): PGS [10] 将降采样操作表示为一个马尔科夫决策过程，旨在学习到一种有效的降采样策略。该方法序贯地对每一个点学习到一个概率来决定是否保留。然而，当输入是大场景点云时，整个网络有着极大的搜索空间(exploration space) 。举例来说，完成与上述采样方法相同的任务的搜索空间是。通过进一步地实验我们发现，将PGS应用到大型点云时，网络非常难以收敛。
- 上一页
- 1
- 2
- 3
- 4
- 5
- 6
- 下一页