青亭网|Labs发布高清3D图片合成新研究，优于NeRF方案，Intel 8月27日消息

8月27日消息， IntelLabs科研人员发表了一项3D场景重建相关研究，研究中指出了一种通过视角合成，将2D原生照片（无标记或描述）转化为支持多视角查看的3D图的方案：FreeViewSynthesis 。

文章图片
据青亭网了解， FreeViewSynthesis方案结合传统算法和神经网络，其特点是可生成彩色的3D图，效果比NeRF方案，或是三星近期发布的NPBG渲染方案更好，合成画质更清晰。
【青亭网|Labs发布高清3D图片合成新研究，优于NeRF方案，Intel】在论文中，科研人员阐述了FreeViewSynthesis方案的具体流程：1）利用开源COLMAP（StructurefromMotion）算法来确定源图片的摄像头位置，并生成场景的基础点云数据；2）COLMAP在每张源图片中运行多视角立体算法（MVS），生成基于点云数据的基础建模；3）根据狄洛尼三角剖分原理，生成临时的几何网格；4）利用共享的卷曲神经网络将源图片的关键特征进行编码；5）通过临时几何网格中生成深度图，并利用深度图将关键特征分布在目标视角上；6）利用循环神经网络，将特征融合在单一的帧画面中。
目前，运行这些步骤需要大量时间，因此FreeViewSynthesis方案还无法达到实时生成速度。
未来，当这种技术得到继续优化，将有望进一步降低实时3D照片渲染的门槛，更广泛应用于社交、新闻报道、展览展示等多种场景。