[映维网]SDK开放公测,实时3D追踪人脸,创建AR效果,英伟达流媒体服务AR

(映维网2020年04月27日)NVIDIAARSDK为直播、视频会议和游戏开辟了创造性的新选择 。 这个SDK允许开发者使用标准的网络摄像头对人脸进行实时3D追踪 , 并创建各种有趣的的增强现实效果 , 如为人脸叠加3D数字内容或为背景添加沉浸式效果 。
[映维网]SDK开放公测,实时3D追踪人脸,创建AR效果,英伟达流媒体服务AR
文章图片
NVIDIAARSDK正以公测版本向社区开放 , 并支持多项用例:追踪摄像头视图的人脸 , 并识别图像中的一个或多个主体 。 将数字asset叠加于个人 , 如服饰和效果 。 通过脸部和头部运动控制动画角色或游戏角色 。
NVIDIAARSDK利用了NVIDIARTX显卡的Tensor内核 , 可通过AI网络实现快速和高质量的追踪性能 。 所述网络可以提供精确的人脸追踪;人脸形状、嘴唇、眼睛、眉毛和鼻子的三自由度五官追踪;以及六自由度的先进人脸网格(人脸和头部姿态的3D重建) 。
例如 , 用于OBS直播软件的热门插件StreamFX发布了一个全新的版本 , 其利用NVIDIAARSDK创建了一个可以自动裁剪和放大用户、并且在用户移动时保持帧居中的智能camera 。
StreamFX的开发者MichaelFabian‘Xaymar’Dirks表示:“StreamFX中的全新FaceTracking滤镜需要复杂的数学和机器学习 , 而这原本需要以一系列的机器运行和花费数个月 , 甚至几年的时间 。 但利用NVIDIA的ARSDK , 现在可以在短时间内完成操作 , 并且可以支持因NVENCH.264编码器而日渐流行的所有NVIDIARTX硬件 。 这大大缩短了必要的开发时间 , 从原本数年的时间缩短到仅需两周 , 而且没有额外的成本 。 ”
【[映维网]SDK开放公测,实时3D追踪人脸,创建AR效果,英伟达流媒体服务AR】更多关于NVIDIAARSDK的信息或下载SDK请访问这个页面 。