Google Meet 背景模糊功能( 二 ) 文/Google研究院软件工程师

效果渲染
分割完成后，我们使用OpenGL着色器进行视频处理和效果渲染，其中的挑战就是在不引入伪影的情况下进行高效渲染。在细化阶段，我们采用联合双边滤波器对低分辨率蒙版进行平滑处理
文章插图
渲染效果时会减少瑕疵减少的渲染效果。左：联合双边过滤器平滑分段分割蒙版。中：可分离滤镜移除背景模糊中的光晕瑕疵。右：替换背景中的灯光包裹包装（light wrapping）。
模糊着色器通过与分割蒙版值成比例的方式，调整每个像素的模糊强度，来模拟波克（bokeh）效果，类似于光学中的混淆圆（CoC） 。像素按其CoC半径加权，因此前景像素不会渗入背景。我们为加权模糊实现了可分离的过滤器，而不是流行的高斯金字塔，因为它去除了人周围的光晕伪影。为了提高效率，模糊以低分辨率执行，并以原始分辨率与输入帧混合
文章插图
背景模糊示例
对于背景替换，我们采用了一种称为灯光包裹（Light wrapping）的合成技术，用于混合分割的人物和定制的背景图像。光线包裹允许背景光溢出到前景元素上，从而使合成更具沉浸感，这有助于柔化分割边缘。当前景和替换的背景之间，存在较大的对比度时，它还有助于最大限度地减少光晕伪影
文章插图
背景替换示例
性能
为了优化不同设备的体验，我们提供多种输入尺寸（即当前版本中的256x144和160x96）的模型变体，根据可用的硬件资源自动选择最佳模型。
我们在两款常见设备上评估了模型推理和端到端传递的速度：搭载2.2 GHz 6核英特尔酷睿i7的MacBook Pro 2018和搭载英特尔赛扬N3060的宏碁Chromebook 11 。对于720p的输入， MacBook Pro可以以120 FPS的速度，运行较高质量的模型，以70 FPS的速度运行端到端的传递途径；而Chromebook则以62 FPS的速度运行推理，使用较低质量的模型，端到端运行在33 FPS 。
文章插图
高端（MacBook Pro）和低端（Chromebook）笔记本电脑上的模型型号推断速度和端到端管线传递。
为了定量评估模型的精度，我们采用了目前流行的交集-并集（IOU）和边界F-度量。这两种型号都有不俗的表现，而且还是在这样一个轻量级网络的情况下
文章插图
模型准确性的评估，通过 IOU 借条和边界 F-分数来衡量。
我们还为我们的分割模型发布了随附的模型卡，其中详细介绍了我们的公平性评估。我们的评估数据包含来自全球17个地理分区的图像，并附有肤色和性别的注释。我们的分析表明，该模型在不同地区、肤色和性别上的表现是一致的，只有很小的IOU指标偏差。
结论
我们推出了一个全新的浏览器端的机器学习解决方案，用于模糊和替换你在Google Meet中的背景。使用这个方案，机器学习模型和OpenGL着色器就可以在Web上高效运行。所开发的功能即使在低功耗设备上也能以低功耗实现实时性能
致谢：特别感谢Meet团队的成员和参与此项目的其他人员，特别是Sebastian Jansson ， Rikard Lundmark ， Stephan Reiter ， Fabian Bergmark ， Ben Wagner ， Stefan Holmer ， Dan Gunnarson ， Stéphane Hulaud以及所有与我们一起从事技术工作的团队成员：Siargey Pisarchyk ， Karthik Raveendran ， Chris McClanahan ，Marat Dukhan ， Frank Barchard ， Ming Guang Yong ， Chuo-Ling Chang ， Michael Hays ， Camillo Lugaresi ， Gregory Karpiak ， Siarhei Kazakou ， Matsvei Zhdanovich ， Matthias Grundmann 。