昊明有态度|北大、斯坦福提出基于动态图网络学习的三维部件拼装( 二 ) 机器之心转载来源：北京大学前沿计算研

动态关系推理模块：每一轮迭代时，我们根据当前图的各个结点代表部件的位姿去动态更新图中边的权重：

文章图片
并按照当前图中边的权重加权对每一个结点做信息传递以更新这个结点的潜表达：

文章图片
动态部件聚合模块：偶数轮迭代时，我们把代表每种等价类部件（geometrically-equivalentparts）的结点聚合成一个结点

文章图片
，从而在一个稀疏点集（sparsenodeset）上进行信息传递；奇数轮迭代的时候，我们又把这些聚合了的结点分开（unpool）成独立的结点，从而在稠密点集（densenodeset）上进行信息传递。
以上各个模块具体的实现和训练细节请参见论文。

文章图片
图2.我们部件拼装动态图神经网络的框架结构
实验结果
我们的实验是在PartNet[1]数据集上进行的。我们和之前一些方法（如ComplementMe[2],PQ-Net[3]等）的变体以及我们自己方法的几个变体都进行了对比，展示了定性和定量的结果，证明了我们的方法在部件拼装任务中的优越性。图3展示了定性的对比结果（左），此外，利用VAE类似的思想，我们的方法还可以产生多模态的输出（右）。

文章图片
图3.不同方法在部件拼装任务上的对比（左）以及我们的方法可以产生多模态的输出（右）
最有意思的是，我们的网络在学习拼装部件的过程中能够隐式地学习到各个部件之间的关系，如图4所示。我们可以观察到，奇数步的时候呈现出相同的模式（pattern），偶数步的时候亦呈现出另一种相同的模式（关于模式的详细分析请参见论文）。总体而言，较为中心的部件（centralpart）（如back,seat）相比于较为边缘的部件（peripheralpart）（如leg,arm）发出的关系权重更多，而接收的关系权重更少。结合信息传递的过程，我们可以分析得到，中心部件更多地主导了部件拼装的过程。

文章图片
图4.动态图网络隐式学习到的各部件之间的关系。橙色表示4个最大的关系权重，黄色表示最小的关系权重。纵列表示发出关系权重的部件，横排表示接收关系权重的部件。
为了进一步佐证这个结论，图5进一步可视化了我们的迭代式图神经网络拼装部件的过程。可以发现，我们的模型在没有任何外界直接监督的情况下隐式地学会了渐进式地（inacoarse-to-finemanner）拼装部件：在开始的几步先拼好中心部件（back和seat），接着边缘部件（arm和leg）会根据中心部件的位姿来调整自己的位姿，最终“由粗到细”地完成部件的拼装。

文章图片
图5.迭代式图神经网络拼装部件的过程
总结
本文提出了一种更贴近实际的（practical）的部件拼装问题，并设计了一个基于动态图网络学习的可以生成多模态拼装的方法。我们的方法揭示了动态图网络学习在部件拼装任务中的优越性，并为分析“机器是如何学习的”提供了思路。未来可能的研究方向包括考虑融合部件关节信息以及更高阶的部件之间的信息等来达到更好的部件拼装效果。
参考文献
[1]KaichunMo,ShilinZhu,AngelXChang,LiYi,SubarnaTripathi,LeonidasJGuibas,andHaoSu.Partnet:Alarge-scalebenchmarkforfine-grainedandhierarchicalpart-level3dobjectunderstanding.CVPR,2019.