背景图|不用绿幕也能实时抠图，商汤等提出只需单张图像、单个模型的新方法MODNet( 二 ) 模型|方法|商汤|实时|抠图

如图 2 所示，MODNet 包含三个分支，每一个均通过特定约束学习不同的子目标。具体而言：
低分辨率分支用于估计人类语义（监督信号是真值蒙版的缩略图）；
高分辨率分支用于辨别人像边界（监督信号是过渡区域 (α ∈ (0, 1)）；
融合分支用来预测最终的前景蒙版（监督信号是整个真值蒙版）。

文章插图
实验
该研究创建了新型人像抠图基准 PPM-100，并在其上对比了 MODNet 和现有的人像抠图方法，还证明了 SOC 和 OFD 策略对于 MODNet 适应现实数据的有效性。
PPM-100 基准
该研究提出了新型人像抠图基准 Photographic Portrait Matting benchmark (PPM-100)，包含 100 张精心标注、背景不同的人像。如下图 4 所示， PPM-100 中的样本背景更加自然、人物姿势更丰富，因此数据也更全面。

文章插图
在 PPM-100 上的性能结果
研究者在 PPM-100 上对比了 MODNet 和 FDMPA、LFM、SHM、BSHM、HAtt，结果参见下表 1。从中可以看出，MODNet 在 MSE 和 MAD 这两项指标上超过其他 trimap-free 方法，但仍逊色于基于 trimap 的 DIM 方法。将 MODNet 修改为基于 trimap 的方法后，其性能超过 DIM。

文章插图
下图展示了不同方法的效果对比情况：

文章插图
从中可以看出，MODNet 可以更好地处理空心结构（第一行）和头发细节（第二行），但在处理难度较大的姿势或服饰时仍然会出现问题（第三行）。
在现实数据上的性能结果
下图展示了 MODNet 在现实数据上的抠图效果，从图中可以看出 SOC 对于模型在现实数据上的泛化能力非常重要，OFD 可以进一步使输出结果更加平滑。

文章插图
MODNet 不基于 trimap，因而能够避免错误 trimap 的问题。图 8 展示了 MODNet 与基于 trimap 的 DIM 方法的对比结果：

文章插图
此外，研究者还对比了 MODNet 和华盛顿大学提出的 background matting (BM) 方法，参见图 9。从图中可以看出，当移动对象突然出现在背景中时，BM 方法的结果会受到影响，而 MODNet 对此类扰动具备鲁棒性。
论文链接：https://arxiv.org/pdf/2011.11961.pdf
项目地址：https://github.com/ZHKKKe/MODNet
一场属于蓉城的“鲜香”盛宴，DevRun开发者沙龙邀您开启“麻辣”开发之旅
行至西南，遇见成都。
【 背景图|不用绿幕也能实时抠图，商汤等提出只需单张图像、单个模型的新方法MODNet】12月12日，DevRun开发者沙龙华为云成都专场将带你逐一解锁：AI开发与云原生DevOps的进阶之旅、华为云技术专家面对面的教学指导、技术瓶颈突破与核心效能提升的关键要义以及拥抱变革与自我进阶的最佳姿势。精彩不容错过！