凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的( 二 )


凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的
文章图片
另外 , 具体的物体实例实际上从来都不是完全对称的 , 无论是在形状上还是在外观上 。 由于姿势或其他细节(如发型或面部表情)的变化 , 形状是不对称的 , 反射率也可能是非对称的(如猫脸的不对称纹理) 。 即使当形状和反射率都是对称的 , 由于不对称的光照 , 外观仍然可能不对称 。 作者用了两种方式解决这个问题 。 首先 , 明确地建立光照模型来利用底层的对称性 , 并表明 , 通过这样做 , 模型可以利用光照作为恢复形状的额外线索 。 其次 , 扩充模型 , 以推理物体中潜在的不对称 。 值得注意的是 , 在损失函数方面 , 作者观察到L1损失函数式对小的几何缺陷敏感 , 容易导致重建模糊 。 所以作者添加了一个感知损失项来缓解这个问题 。 在训练过程中 , 作者使用Adam优化器对batch为64的输入图像进行训练 , 图像大小resize为64×64像素 。 输出深度和反射率的大小也是64×64 。 训练大约进行5万次迭代 , 对于可视化 , 深度图将上采样到256 。 2实验结果更准确论文的最后 , 作者在三个人脸数据集上进行了测试:CelebA、3DFAW和BFM 。 同时也在猫脸和合成汽车上进行了测试 , 文章的开头就是部分测试结果 , 下面是“猫主子”重建结果:
凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的
文章图片
小车重建3D效果:
凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的
文章图片
另外 , 与完全监督的方法和表现一般的无监督baseline相比 , 作者的方法在BFM数据集上重建得到的的SIDE误差和MAD误差明显优于baseline并且接近完全监督 , 如下表损失所示 。 ?
凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的
文章图片
消融实现性能评估?
凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的
文章图片
与当前SOTA比较?
凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的
文章图片
同时 , 作者在论文的最后也提到了目前工作的限制和不足 。
凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的
文章图片
主要有三点 , 其一如果假设一个简单的Lambertian阴影模型 , 忽略阴影和镜面反射 , 这会导致在极端照明条件或高度非Lambertian曲面下的不精确重建 , 如上图a所示;其二 , 分离嘈杂的深色纹理和阴影非常困难 , 如上图b所示;其三 , 极端姿态下的重建质量较低 , 如上图c所示 。 3磁灶“95后”一作前面也提到 , 这篇CVPR2020最佳论文有三位作者 , 他们都来自牛津大学 , 其中吴尚哲在2018年从香港科技大学毕业后进入牛津视觉几何组 , 进行计算机视觉领域的研究 。
凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的
文章图片
当他进入赴牛津大学攻读博士时候 , 他的家乡晋江对他进行了报道 , 晋江新闻网说:
年仅22岁的吴尚哲2014年考取香港科技大学 , 今年以来 , 他接连收到了牛津大学、苏黎世联邦理工学院、洛桑联邦理工学院的博士项目全额奖学金录取 , 以及号称“世界计算机第一学府”的美国卡内基梅隆大学硕士项目录取 。 再过不久 , 他将前往牛津大学 , 加入世界顶级的计算机视觉研究组 , 师从“欧洲计算机科学家”An?drewZisserman的其弟子AndreaVedaldi , 致力于人工智能相关研究 。
【凤仙郡天下杂谈|CVPR 最佳论文:无需任何监督,即可重建三,“后浪95后”吴尚哲的】通过晋江新闻的报道 , 我们也可以看出 , 他家境并不富裕 , 父母亲在磁灶社区的老街里经营着一家裁缝店 。 在他年幼时 , 全家4口人挤住在一个30平方米的两层老房子里 。 贫困的家庭环境中 , 每日耳濡目染父母亲为了生计的艰辛 , 培养了他独立自主的能力 , 更坚定了他奋发学习的决心 。 通过努力学习 , 吴尚哲中学期间获得过全国中学生物理竞赛福建省一等奖 , 数学竞赛福建省三等奖 , 以及英语演讲比赛各级奖项等 。 得益于竞赛获奖的缘故 , 他获得了保送西安交大的机会 , 但在一次偶然的机会 , 他又自己做主报考了香港科技大学 。 在香港科技大学读大三时 , 其就开始跟随导师邓智强和戴宇榮从事计算机视觉相关研究 , 甚至当时还发表了两篇国际顶级会议论文 , 并获得出国交流学习的机会 。