映维网CVPR 2020 AR/VR板块CV4ARVR科研论文汇总

_本文原题：CVPR 2020 AR/VR板块CV4ARVR科研论文汇总
（映维网 2020年06月22日）2020年计算机视觉和模式识别大会（Conference on Computer Vision and Pattern Recognition；CVPR）正在如火如荼地进行中，来自世界各地的计算机视觉研究者和工程师都在这里分享最新的进展。
延伸阅读：Facebook在CVPR2020分享最新AR/VR研究成果延伸阅读：谷歌在CVPR2020分享最新AR/VR研究成果下面是增强现实/虚拟现实领域论坛的的论文及相关摘要整理（点击标题可下载论文）：
1. Attention Mesh: High-fidelity Face Mesh Prediction in Real-time
By: Google Research

本文插图
我们提出了一种用于三维人脸网格预测的轻量级架构Attention Mesh ，而它主要是利用用户对语义意义区域的注意。我们的神经网络是为实时设备端推断而设计，它能够在Pixel 2以超过50 FPS的速度运行。我们的解决方案能够赋能诸如AR化妆，眼动追踪和AR操纵等需要眼睛和嘴唇区域提供高精确特征的应用。我们的主要贡献是一个统一的网络架构，它在提供面部特征方面达到了与多级级联方法相同的精度，而且速度提高了30% 。
2. BlazePose: On-device Real-time Body Pose tracking
By: Google Research

本文插图
我们提出了一种用于移动设备进行实时推理的轻量级卷积神经网络架构BlazePose 。在推断过程中，网络会为人体生成33个身体关键点，并在Pixel 2以30 FPS的速度运行。这使得它特别适合贴合度追踪和手语识别等实时用例。我们的主要贡献包括一个使用热图和关键点回归的全新身体姿态追踪解决方案和轻量级身体姿态估计神经网络。
3. Boosting Perceptual Resolution of VR Displays
By：National Taiwan University

本文插图
由于当前头显像素密度不足，难以实现VR应用所要提供的完全沉浸式体验。我们在这项研究中提出了一个能够以合理的计算成本提高VR显示器感知分辨率的框架。所提出的视觉框架合成网络能够产生高分辨率的信息，然后通过视网膜的整合过程来恢复高分辨率视觉。另外，我们同时提出了一种在同一帧中混合帧率区域的方法，这可允许我们只在注视点区域改善感知体验。我们通过主观实验验证了框架的有效性。
4. DARNavi: An Indoor-Outdoor Immersive Navigation System with Augmented Reality
By：滴滴出行

本文插图
线上打车服务在全世界都备受欢迎。有效地引导乘客到达乘车点可以节省寻路时间并提高整体用户体验。这对线上打车服务具有重要意义。我们提出了一种用于引导乘客从室内位置到达乘车点的沉浸式导航系统。在导航过程中，系统支持使用增强现实技术将导航元素真实地呈现到物理世界中。所述系统已经部署在普通手机的商业应用程序中，并已经为数千名乘客提供过服务。
5. Decoupled Localization and Sensing with HMD-based AR for Interactive Scene Acquisition
By：Serge Belongie ， Cornell Tech

本文插图
对于实时追踪和视觉反馈所提供的交互式AR辅助式捕获系统，其可作为专用传感器装置和机器人龙门架的一种便捷的和低成本的替代品。我们提出了一种将所述应用中的定位和视觉反馈与用于捕捉场景的主传感器分离的简易策略。我们的策略是使用AR头显和六自由度控制器进行追踪和反馈，并与单独的主传感器同步捕捉场景。在这篇论文中，我们提出了关于所述策略的原型实现，并通过将运行时姿态估计值与高分辨率离线SfM的结果进行比较来研究解耦追踪的精度。