93913网 |Facebook正在开发神经超采样实时渲染技术据外媒venturebeat报道

文章图片
据外媒venturebeat报道， Facebook的AR/VR研发部门FacebookRealityLabs近日发表了一篇名为《NeuralSupersamplingforReal-timeRendering》的论文，该论文详细阐述了一项全新技术“神经超采样实时渲染” ，该技术可以对实时渲染的3D内容进行上采样处理，采用机器学习方法将低分辨率、计算上更容易成像的图片转换成高分辨率的输出图像。
要理解Facebook这项创新技术，打个比方我们可以把《蒙娜丽莎》画像想象成一个由16个彩色正方形组成的4×4网格图。常见的问题是，通常我们注视网格图的时候往往会深陷于其表面凹凸不平的锯齿状方形图像，而发现不了图像原本真实的模样。但是通过机器学习方法，就能很快对这张网格进行计算，并从中识别出《蒙娜丽莎》画像。
【93913网|Facebook正在开发神经超采样实时渲染技术】为此， Facebook的研究人员通过三层卷积神经网络开发了这项全新技术，如上所述在识别画像的机器学习过程中采用了该神经网络，并以场景统计进行了计算识别，从而能够快速恢复画像清晰的细节，同时节省了在实时应用中直接渲染细节所需的计算开销。该技术不仅适用于平面图像，而且也适用于3D渲染场景，可将“高度混叠运动”转换为“实时的高保真度和时间点稳定性的结果” ，同时考虑了颜色、深度贴图和时间运动矢量等变量。
从计算的角度来看，这项研究表明，通过预先机器学习，可以将与原版《毁灭战士》游戏相似的3D环境渲染成类似于VR游戏《雷神之锤》的游戏画质。虽然这并不意味着游戏开发人员可以通过该方法将3D游戏直接转化成VR游戏，但是通过该技术可以让VR一体机OculusQuest以较少的功耗实时渲染出高分辨率的图像输出效果。
尽管机器学习的细节很复杂，但最终的结果是，神经网络是使用从给定3D场景的100个视频中捕获的图像进行训练的，因为真实的用户可能会从各种角度来体验它。这些图像都采用了全分辨进行渲染场景，其中1600x900像素场景渲染时间为140.6毫秒，而400x225像素场景渲染时间为26.4毫秒， 4×4网格上采样的时间为17.68毫秒，总计渲染时间为184.68毫秒，在非常接近原始图像的情况下，渲染时间节省了近3.2倍。这样一来， OculusQuest用户将能受益于性能强大的PC的计算输出结果。
研究人员表示，他们的系统通过提供更高的重建精度，其性能优于最新版本虚幻引擎的时间抗锯齿缩放技术。同时研究人员认为NVIDIDA的深度学习超级采样技术（DLSS）最接近其解决方案，但是DLSS依赖于专有的软硬件，而这些软硬件可能无法在所有平台上都通用。相比之下， Facebook的解决方案不需要采用特殊的软硬件，就可以轻松集成到3D引擎中，从而实现4×4超级采样，而普通解决方案最多只能支持2×2上采样。

文章图片
虽然Facebook正在开发的神经超采样实时渲染技术十分新颖且应用前景广阔，但它还并不完美。尽管该技术通过机器学习使生成的图像具备了稳定的平滑度，但是在生成的过程中可能会丢失一些精细的细节。例如，如果以低分辨率进行渲染时最后几帧文本没有被正确的标记出来，那么该文本可能无法在便笺上被读取。其次，尽管更高的性能、更好的优化有望提高系统的性能，但开发“高分辨率显示应用”所需的高昂成本仍是短期内难以解决的问题。
即使Facebook解决方案目前面临着很多现实问题，但综上所述，我们依旧可以清晰的看出神经超采样实时渲染技术对于VR/AR头显朝更高分辨率、更快帧速率方向发展起到了积极推进作用。
作者：威廉