人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明( 二 )


人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图
BG-20k 数据集具备以下特征:
人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图
动物图像抠图数据集 AM-2K
AM-2k 数据集包含 20 个类别的 2000 张高分辨率自然动物图像 , 并且具备手动标注的前景蒙版 。 研究者将该数据集分割为训练集和验证集 , 并设置了两个评估 track:ORI-Track (Original Images Based Track) 和 COMP-Track (Composite Images Based Track) 。
下表展示了 AM-2k 数据集与现有抠图数据集的对比情况:
人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图
该数据集中的示例参见下图:
人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图
实验
定量和主观评估
下表 2 展示了多种 SOTA 方法在 AM-2k ORI-Track 上的结果:
人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图
与 SOTA 方法相比 , GFM 在所有评估指标上均超过它们 , 通过同时分割前景和背景图像以及在过渡区域抠图 , 取得了最优性能 。
下图 6 展示了不同方法在 AM-2k ORI-Track 上的定性对比结果:

人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图
从图中可以看出 , SHM、LF 和 SSS 无法分割一些前景部分 , 因为其分段式结构导致模型无法显式地分辨前景 / 背景和过渡区域 。 语义分割和抠图细节是很难平衡的 , 分别需要全局语义特征和局部结构特征 。 HAtt 和 SHMC 无法获得过渡区域的清晰细节 , 因为全局指引有助于识别语义区域 , 但对细节抠图的用户就没那么大了 。
相比而言 , GFM 获得了最优结果 , 这得益于其统一模型 , 使用单独的解码器处理前景 / 背景和过渡区域 , 并以协作的方式进行优化 。
模型集成和混合分辨率测试
如下表 3 所示 , 模型集成的结果优于单个模型:

人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图
控制变量研究
控制变量研究结果如下表 4 所示:
人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图
模型复杂度分析
如下表 5 所示 , 使用 DenseNet-121 或 ResNet34 作为主干网络的 GFM 在运行速度上超过 SHM、LF、Hatt 和 SHMC , 它们处理一张图像分别只需大约 0.2085s 和 0.1734s 。
人像抠图满足不了研究者了,这个研究专门给动物抠图,毛发分明
本文插图

  • 论文地址:https://arxiv.org/pdf/2010.16188v1.pdf
  • GitHub 地址:https://github.com/JizhiziLi/animal-matting