环球网|行业首发云端渲染系列技术 助推5G大规模商用

来源:环球网
今日 , 快手在2020年中国国际数码互动娱乐展览会(简称ChinaJoy)上 , 率先发布了基于5G网络的云端渲染技术 。 该技术以短视频业务场景为依托 , 为用户提供了趣味性的体验 。 本次快手提供了驯龙高手、二次元变身两项展示 。 这两项展示具备沉浸感强、体验效果逼真的特点 , 受到了广大参会者的追捧 。
本次快手展示的云端渲染技术 , 充分发挥5G高带宽、低延迟的优势 , 释放云端强大的计算能力 , 克服本地算力不足的缺点 , 达到云端实时渲染、5G低延迟传输、本地即时展示的目的 。
环球网|行业首发云端渲染系列技术 助推5G大规模商用图为驯龙高手应用效果示意
为了给用户提供好莱坞级别的视觉体验 , 驯龙高手综合应用多项自研技术 , 包含基于物理的实时渲染(Physically Based Rendering)、对真实世界的仿真物理模拟、基于体素的流体建模与渲染系统、大规模GPU粒子系统、YCNN推理引擎 。 多项先进技术和大量次时代资源的使用 , 导致本地设备无法提供足够的算力与存储空间 。 而5G技术的到来 , 使云端模拟成为可能 , 解决了上述问题 。 百万面同屏、真实光影效果、华丽的粒子特效、纤毫毕现的毛发模拟、逼真的交互体验、高精度的AI推理 , 画面流畅细腻、特效精致震撼 , 为短视频特效行业树立了标杆 。
环球网|行业首发云端渲染系列技术 助推5G大规模商用图为二次元效果对比图
二次元变身是基于CycleGAN、UGATIT等框架而实现的 , 快手在实践中对于算法鲁棒性、模型效果、数据准备效率、时序稳定性等进行了优化和升级 。 服务端的全图二次元技术 , 支持人像、背景、多人效果 。 通过端云协同的技术方案 , 服务端运算的结果以直播下发的方式展示 , 为用户提供更清晰、质感的二次元转换 。
为了更好的适配5G网络 , 快手音视频部门自研了网络传输协议和实时编解码技术 , 采用快手自建的SDN网络 , 通过基于UDP协议的高清视频低延时通信技术 , 实现本地采集视频云端处理的实时回显 。 把用户在手机上采集到的视频实时发送到云端 , 利用服务器强劲的硬件资源进行渲染 , 再把渲染结果实时发送到用户手机进行显示 。
【环球网|行业首发云端渲染系列技术 助推5G大规模商用】快手云端渲染系列技术 , 充分将移动终端与服务器的硬件能力相结合 , 实现较为复杂的运算 , 未来将充分挖掘5G网络的应用价值 , 在视频内容生产、直播、小游戏等应用场景中将发挥重要作用 。