凤仙郡天下杂谈|CVPR 最佳论文：无需任何监督，即可重建三，“后浪95后”吴尚哲的原创陈大鑫、蒋宝尚AI科技评论昨天作者

原创陈大鑫、蒋宝尚AI科技评论昨天

文章图片
作者|陈大鑫、蒋宝尚
编辑|丛末我有一张二维照片，能让它变成三维图像么？可以，当前的一些3D电影相册工具，给图片加一个相框也能形成动态效果。另外，用PS软件，进行一步、两步、三步等等操作后，也可以2D变3D ，只不过即使技艺精湛的设计师也需要花费一点时间。
然而，这届的CVPR最佳论文提出了一种无监督的方法，能够常准确地从单目图像中恢复人脸、猫脸和汽车的三维形状。效果如下：

文章图片
上下左右，前前后后，充分展示了三维图像的“长宽高”? 。重建的三维人脸包含了鼻子、眼睛和嘴的细节，即使在极端的面部表情下表现也非常优秀。

文章图片
抽象图片与动漫图片也不在话下?

文章图片
除了重建三维，二维图像的照明效果也能调一调?~

文章图片
无需微调就可逐帧应用，充分实现“你动我也动”? 。这篇论文也正是因为其提出方法优越的性能和其潜在的应用前景，被选中为CVPR2020最佳论文。另外，代码也已经开源。

文章图片
论文链接：https://arxiv.org/abs/1911.11130代码地址：https://github.com/elliottwu/unsup3d项目地址：https://elliottwu.com/projects/unsup3d/Demo地址：http://www.robots.ox.ac.uk/~vgg/blog/unsupervised-learning-of-probably-symmetric-deformable-3d-objects-from-images-in-the-wild.html这篇名为《UnsupervisedLearningofProbablySymmetricDeformable3DObjectsfromImagesintheWild》的论文由牛津大学的吴尚哲、ChristianRupprecht、AndreaVedak三位合著。其中，第一作者是来自香港科技大学2014级的本科生吴尚哲， 2018年本科毕业后进入了牛津大学视觉几何组，师从欧洲计算机科学家AndrewVedaldi ，另外，这篇论文的第三作者也是AndrewZisserman的博士后AndreaVedaldi 。同样，这项工作也得到了FacebookResearch和ERCHorizon2020研究与创新计划的支持。 1
模型简介与方法介绍
前面也提到，这篇最佳论文最亮的点是：基于原始单目图像学习3D可变形物体类别，而且无需外部监督。具体而言，其使用的方法是基于一个自动编码器，这个编码器能够将每张输入图像分解为深度、反射率、视点和光照四个组件。整体模型结构如下：

文章图片
在论文中，作者提到，为了在无监督的情况下分离这些组件，其利用许多物体类别至少在原则上具有对称结构这一事实。另外，作者通过预测一个对称概率图，对可能对称但不确定对称的物体建模，并与模型的其他组件进行端到端学习。实验结果表明，作者的方法能够在不需要任何监督和先验形状模型的情况下，非常准确地从单目图像中恢复人脸、猫脸和汽车的三维形状。在基准测试中，与另一种使用2D图像对应级别的监督方法相比，作者的方法有着优越的准确性。在具体建模过程中，作者在两种具有挑战性的条件下进行研究，第一个条件是没有2D或3D的groundtruth信息(如关键点、分割、深度图或3D模型的先验知识)可用。第二个条件是，该算法必须使用无约束的单目图像集合。针对这两个条件，作者整体的学习算法过程是：先摄取大量可变形对象类别的单视图图像，然后输出一个深度网络，并且该网络可以根据给定的单一图像估计任何实例的3D形状。