映维网CVPR 2020 AR/VR板块CV4ARVR科研论文汇总( 二 )

6. Epipolar Transformer for Multi-view Pose Estimation
By：Facebook ， Carnegie Mellon University

本文插图
在同步和校准的多视图设置中，定位三维人体关节的常用方法包括两个步骤：1.分别在每个视图应用二维检测器来定位二维关节；2.对每个视图中的二维检测执行鲁棒三角剖分以获取三维关节位置。但在步骤1中，二维检测器仅限于解决可能在三维中能更好解决的挑战性情况，如遮挡和斜视角，亦即纯粹在二维中而不利用任何三维信息。所以我们提出了可微的“极线变换器” ，这使得二维探测器能够利用三维感知特征来改进二维姿势估计。原理是：给定当前视图中的二维位置p ，我们希望首先在相邻视图中找到其对应的点p0 ，然后将p0处的特征与p处的特征相结合，从而在p处产生一个三维感知特征。受立体匹配启发，极线变换器利用极线约束和特征匹配来逼近p0处的特征。 InterHand和Human3.6M的实验表明，我们的方法比基线有一致的改进。具体来说，在不使用外部数据的情况下，我们使用ResNet-50 backbone和256×256图像大小训练的Human3.6M模型在性能方面比现有模型高4.23mm ，达到了MPJPE 26.9mm 。
7. Fakeye: Sky Augmentation with Real-time Sky Segmentation and Texture Blending
By：University of Science, VNU-HCM

本文插图
增强现实技术已经广泛应用于增强人类的体验。除了提供真实环境感知外，它同时可以提供人工内容。尽管大多数AR应用都专注于服务于室内任务，但为了创建一个更完整的虚拟环境，诸如天空这样更高、更广阔的空间同样应该受到关注。由于远距离目标在渲染方面的表现与近距离目标不同，本文尝试设计一种用虚拟对象来增强天空的方法，并同时解决实时天空分割以产生遮挡错觉，真实场景与虚拟场景融合，以及摄像头对准等难题。我们的移动实现方法名为“Fakeye” ，它产生了富有前景的结果，并带来了令人兴奋的体验。
8. FMKit – An In-Air-Handwriting Analysis Library and Data Repository
By：Arizona State University

本文插图
对于用户无法使用物理键盘或触控屏的增强现实和虚拟现实应用，手势和悬空书写输入了替代的信息提供方法。然而，理解手部和手指的运动是一个挑战，这需要大量的数据及数据驱动模型。本文提出了一个用于悬空书写的公开研究FMKit 。它包含一组Python库和一个数据存储库。其中，我们使用两种不同的动捕传感器对180多名用户进行了数据采集。我们同时介绍了FMKit支持的三个研究任务，包括基于悬空比划的用户认证、用户识别和单词识别，以及初步的基线性能表现。
9. Head-mounted Augmented Reality for Guided Surface Reflectance Capture
By：Cornell Tech ， Aarhus University ， Facebook AI ， Cornell University

本文插图
我们在这个项目中探索了一种系统设计，用一个AR头显和一个手持控制器帮助用户捕捉表面反射函数。我们补充了在捕捉过程中追踪的一个标准六自由度控制器与一个可安装光源。用户首先使用控制器选择要捕获的表面区域。然后我们通过头戴式摄像头记录图像，同时通过AR显示屏的实时反馈引导用户控制手持式光源。我们的系统提供了一种获取表面反射率信息的简单而有效的方法。