智能小屋MUKK 新系统结合了智能手机视频以创建4D可视化卡内基梅隆大学的研究人员证明

卡内基梅隆大学的研究人员证明，他们可以结合使用分开的摄像机在“野外”拍摄的iPhone视频来创建4-D可视化效果，使观看者可以从各个角度观看动作，甚至可以擦除暂时遮挡视线的人或物体。
想象一下一个婚礼招待会的可视化，可以从与摄像机一样多的角度看到舞者，而走在新娘聚会前的醉汉无处不在。
博士AayushBansal表示，可以在婚礼或生日庆典上拍摄视频，而不受各种角度的影响。 CMU机器人学院的学生。他补充说，还可以将演员录制在一个场景中，然后将其插入到另一个场景中。

文章图片
【智能小屋MUKK 新系统结合了智能手机视频以创建4D可视化】班萨尔说：“我们仅受摄像机数量的限制，对可以使用多少个视频源没有上限。
Bansal和他的同事在上个月的“计算机视觉和模式识别”虚拟会议上介绍了他们的4-D可视化方法。
“虚拟现实”并不是什么新鲜事物，但是在过去，它仅限于工作室设置，例如CMU的PanopticStudio ，该工作室在其测地线中嵌入了500多个摄像机。根本不可能将从多个独立的手持式摄像机拍摄的真实场景的视觉信息融合到一个可以重建动态3D场景的单一综合模型中。
班萨尔和他的同事们通过使用卷积神经网络（CNN）解决了这一局限，卷积神经网络是一种深度学习程序，已被证明擅长分析视觉数据。他们发现可以使用场景特定的CNN来组成场景的不同部分。
CMU研究人员使用多达15部iPhone演示了他们的方法，以捕获各种场景，包括在匹兹堡国家鸟舍的舞蹈，武术表演，甚至火烈鸟。
班萨尔说：“使用iPhone的目的是表明任何人都可以使用该系统。 ”“世界就是我们的工作室。 ”
该方法还释放了电影行业和消费类设备中的大量潜在应用程序，尤其是随着虚拟现实头戴式耳机的普及持续增长。
尽管该方法不一定能捕获完整的3D细节的场景，但系统可以限制播放角度，因此不完整的重建区域不可见，并且3D图像的幻觉也不会破碎。