港城大提出任意比例的上采样方法, 实现自由三维点云稠密重建：港城大提出任意比例的上采

原标题：港城大提出任意比例的上采样方法,实现自由三维点云稠密重建
From:香港城市大学编译:T.R
近日，来自香港城市大学的研究人员提出了一种基于线性近似的网络模型MAPU-Net ，可以在一次训练后对输入的稀疏点云实现任意“放大比例”的上采样。
针对需要上采样的点云，模型首先通过获取现有点在切平面上的领域点，学习局域几何信息获取插值权重、生成分布在凸包区域内的邻域点云，随后利用稀疏点云的法向量通过数据驱动的方式来优化点云结果，获取最终上采样后的点云。
这种方式在一次训练后可以应用于多个尺度的上采样过程中，并能够生成较为精细的几何结构，具有更强的可解释性和更好的内存效率。

文章图片
详情请参见论文：
https://arxiv.org/pdf/2011.12745.pdf
3D点云对于复杂几何形貌的目标和场景有着非常强大的表达能力，被广泛应用于机器人操作、无人驾驶、沉浸式感知和文物遗迹保护等领域。但在现有技术条件下，获取准确稠密的三维点云还是一项耗时耗力的工作。这一领域的研究人员一直致力于利用软件的计算手段来代替硬件，从稀疏的低分辨率的点云中获取稠密的高分辨率的点云结果。
3D点云上采样问题通常被视为图像超分辨在三维领域的对应问题，人们从图像超分辨领域借鉴了很多技术处理这一领域的问题。但由于点云与生俱来的非规则性和非均匀性，这些基于规则图像的方法无法发挥出应有的能力。此外，三维点云代表的是目标或场景表面的几何形貌信息，而图像则记录了目标或场景的反射光强信息，这样的差异使得图像领域的超分辨技术无法有效应用于三维点云的处理上来。
针对点云上采样问题，目前学术界主要从两个角度来解决问题，分别是优化方法和基于深度学习的方法。基于优化的方法通常利用局域特征来对局部几何信息进行拟合，在平滑的曲面上可以得到非常好的效果。但这种方法无法保留多尺度的细节，无法有效重建较为细微的形貌信息。而利用神经网络的方法从数据中学习出几何形状点云表达会比基于优化的方法表现更好，但现有的深度学习方法对于点云的几何特性考虑较少，限制了深度学习对于这一问题的处理能力。
此外，很多深度学习方法的上采样率保持固定，这意味着每当需要改变上采样率的时候就需要重新对网络进行训练，消耗大量的调参和训练时间。所以人们开始研究只需要训练一次就能对任意上采样率进行处理的网络模型。
近日，来自香港城市大学的研究人员提出了一种基于线性近似的网络模型MAPU-Net ，可以在一次训练后对输入的稀疏点云实现任意“放大比例”的上采样。这种方式在一次训练后可以应用于多个尺度的上采样过程中，并能够生成较为精细的几何结构，具有更强的可解释性和更好的内存效率。
理论分析
针对输入的点云，在用户给定的上采样尺度下需要进行稠密的上采样，并保持重建后的几何细节。具体来讲，针对每个输入的点，需要通过某种插值的方式有效获取其R个邻近的点。

文章图片
为了从理论上定义这一问题，研究人员首先定义了输入稀疏点集以及其邻域内的k个最邻近点。首先假设输入点周围所要重建的目标表面是局部平滑的，这意味着这一部分可以表达为函数形式：

文章图片
那么周围邻域点也可以表示为同样的方程

文章图片
如果梯度连续可以将这一局部的曲面表示为高度的隐函数的形式

文章图片
利用泰勒展开进行一阶近似后高度函数可表示为：

文章图片
此时可以将需要生成的上采样点的坐标表示成输入邻域点的仿射组合，

文章图片
上面的式子就可以改写为：

文章图片
此时可以定义: