映维网CVPR 2020 AR/VR板块CV4ARVR科研论文汇总( 四 )

我们提出了一种基于全景卷积的卷积神经网络，并主要用于360度等矩全景图的显著性预测。我们的网络架构利用了最近提出的360度感知卷积进行设计，所述卷积将内核表示为与全景投影所在的球体相切的面片，并且使用一个根据每个像素在日昝投影中的坐标来惩罚预测误差的球形损失函数。我们的模型成功地从单个图像预测360度场景中的显著性，在全景内容方面的性能优于其他最新方法，并且产生了可能有助于理解用户在查看360度虚拟现实内容时的行为的更精确结果。
15. Realistic Training in VR using Physical Manipulation
By：Nokia Bell-Labs

本文插图
我们之前在IEEE虚拟现实研讨会中提出了一种直接应用于训练应用的混合现实交互方法。它基于两个关键思想的结合：通过分割用户真实双手来在虚拟空间中提供真实的用户具现，并允许在沉浸式场景中操纵可能保留或改变其真实外观的物理对象。对于所述概念的部署，我们在基础场景使用了Unity部，以及基于颜色的对象分割算法和用于对象追踪的Aruco库。然后，为了利用游戏化的优势，我们构建了一个5分钟的逃生室游戏来验证所有组件：真实的具现，真实的对象，增强的真实对象和控制设备。我们通过53名用户对系统进行了全面的评估，并制定了一个公平的比较方案：每个用户必须玩两次逃生室，一次是使用真实对象和双手，另一次是纯虚拟对象和虚拟化身。在完成测试后，用户必须回答一份衡量用户临场感，具现感和体验质量的标准问卷调查。另外，我们从游戏运行中提取了与性能相关的定量数据。结果验证了我们的假设，亦即这种方法显著地改善了关键因素，如相对于对应虚拟现实解决方案的临场感或具现感。我们预计我们的解决方案将为虚拟培训应用程序的实现提供重大进展。
16. Real-time Pupil Tracking from Monocular Video for Digital Puppetry
By：Google Research

本文插图
我们提出了一种由移动设备的实时视频追踪瞳孔的简单实时方法。我们的方法扩展了一个最先进的人脸网格检测器。所述检测器由两个新组件组成：一个可以在二维预测瞳孔位置的微小神经网络；另一个是基于位移的瞳孔混合形状系数估计。我们的技术可以用来精确地控制虚拟木偶的瞳孔运动，从而给它带来生命力。所述方法在现代手机的运行速度超过50 FPS ，并且可以用于任何实时木偶制作管道。
17. Real-time Retinal Localization for Eye-tracking in Head-mounted Displays
By：Univerisity of Washington, Magic Leap

本文插图
在头戴式显示器中，精确的和鲁棒的眼动追踪非常关键。本文研究了一种利用视网膜运动视频来估计眼睛注视点的方法。我们将视网膜运动视频的每一帧定位在一幅马赛克大视场搜索图像中。定位是基于卡尔曼滤波进行，它在估计过程中嵌入深度学习，并以图像配准为测量手段。所述算法在实验中得到了验证。在实验中，视网膜运动视频是从一个动态的真实体模中获取。除标注误差外，算法的平均定位精度为0.68° 。传统的瞳孔闪烁眼动追踪方法的平均误差为0.5°-1° ，而使用视网膜视频的眼动追踪分辨率为每像素0.05° ，比瞳孔闪烁方法优胜近20倍。对于这个天生鲁棒的方法，其精度有望随着进一步的开发而提高。
18. Slow Glass: Visualizing History in 3D
By：University of Washington ， Google