业内首创、同级最好！OPPO FDF全维人像视频技术系统发布 11月17日

【业内首创、同级最好！OPPO FDF全维人像视频技术系统发布】11月17日，以“跃迁·致善”为主题的OPPO未来科技大会2020正式举办， OPPO首次对外阐释“科技为人，以善天下” ，并公布了“3+N+X”的科技跃迁战略。同时，大会还正式发布了OPPO X 2021卷轴屏概念机、OPPO AR Glass 2021概念眼镜和OPPO CybeReal全时空间计算AR应用三款产品；11月18日， OPPO未来科技大会进入第二天，并发布了全新人像视频技术系统-OPPO FDF 全维人像视频技术系统。
文章插图
从OPPO官方介绍来看， OPPO FDF全维人像视频技术系统是业内第一个、也是最好的人像视频技术系统，该人像视频技术由感知人像引擎和画质增强引擎组成，二者分别针对人像拍摄时的人物主体和整体画面进行针对性优化，共同实现人美、景美的拍摄效果，不管是单人还是多人，不管是白天、夜间，都能让用户拍出满意的片子。
文章插图
所谓感知人像引擎，顾名思义就是对拍摄时的人像区域进行优化，其背后主要包含了四项关键性技术，分别是AI 人脸/人脸关键点检测、AI 超清人像、OFL 肤质优化以及人脸畸变矫正。
文章插图
其中AI 人脸/人脸关键点检测实现了99.78%的检测准确率和25ms的单帧检测耗时，在实际拍照、拍视频的时候能够快速、精准的检测出人脸区域，为后续脸部优化圈定精确的范围；同时其能够对包括五官在内的人脸关键点进行检测，通过296个关键点来实现五官和轮廓细节的区分，最终实现了低至4.71%的模型损耗。
文章插图
而超清人像功能则是在深度神经网络模型中设计了3个子模块分别对人脸进行超分计算、降噪优化和锐度优化，通过算法精准检测脸部和邻近区域并且进行增强处理，使整个画面细节表现更明显；而在保障人像清晰度之后， OPPO还会通过OFL肤质优化算法帮助消费者在拍摄时去除脸部瑕疵、优化皮肤表现、让整体气色更出众。
文章插图
OFL肤质优化算法本质上是深度神经网络模型的组合，能够分别对肤色和肤质进行AI处理，通过轻量化AI模型，和用户大数据进行模型训练，最终实现96.5%的皮肤区域的分割准确率、面部皮肤精度达到了97.4% ，同时将“肤色检测”的范围从脸部皮肤、脖子、手部皮肤延伸到所有会露出的皮肤区域，并通过脸部皮肤Mask将皮肤区域和非皮肤区域区分开来，做到皮肤区域的精准标记。
文章插图
另外一个重点就是OPPO在AI祛瑕疵中实现了对脸部瑕疵的智能识别，将天生特征和后天瑕疵的特征区分，让AI可以精准的区分两者，实现更自然地祛瑕疵效果。
文章插图
人脸畸变矫正在影像领域并不是一个新话题，不过OPPO对畸变的处理会更加精细，整体效果更自然、真实，其采用透视投影中的背景部分，同时对人脸区域进行切割分离、再做一次球面投影，让人脸保持正常的、符合人眼观看习惯的形状，最终将两个画面叠加，就可以得到人脸和背景都正常的画面。
文章插图
画质增强引擎，即OPPO新一代超级防抖算法，其加入了场景检测，通过检测手机陀螺仪、加速度计和Sensor的数据，能够对运动轨迹、姿态和曝光进行判断，建立不同拍摄场景下的抖动模型，并针对性地匹配防抖策略。
文章插图
得益于此， OPPO将新一代超级防抖算法应用到移动延时摄影中，额外增加了运动趋势判断，使被抽取出来的多帧画面过渡更平滑，并且实现更长时间跨度的防抖；并在超级夜景&视频HDR融合算法中根据环境自适应调节各模块处理效果，实现画面亮度表现更均匀、过渡更自然、噪点更少和色彩表现更真实的效果；而在保持3-HDR优秀画面表现的基础上， DOL-HDR算法中多帧的长短曝光几乎同时进行，可以大幅缩减前后帧的间隔时间，有效地改善拍摄时出现“鬼影”的问题。