澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明( 二 )


下图对比了不同合成图像方法 , 其中 c 和 d 使用的背景图像来自 BG-20k 数据集:
澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
BG-20k 数据集具备以下特征:
澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
动物图像抠图数据集 AM-2K
AM-2k 数据集包含 20 个类别的 2000 张高分辨率自然动物图像 , 并且具备手动标注的前景蒙版 。 研究者将该数据集分割为训练集和验证集 , 并设置了两个评估 track:ORI-Track (Original Images Based Track) 和 COMP-Track (Composite Images Based Track) 。
下表展示了 AM-2k 数据集与现有抠图数据集的对比情况:
澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
该数据集中的示例参见下图:
澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
实验
定量和主观评估
下表 2 展示了多种 SOTA 方法在 AM-2k ORI-Track 上的结果:
澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
与 SOTA 方法相比 , GFM 在所有评估指标上均超过它们 , 通过同时分割前景和背景图像以及在过渡区域抠图 , 取得了最优性能 。
下图 6 展示了不同方法在 AM-2k ORI-Track 上的定性对比结果:

澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
从图中可以看出 , SHM、LF 和 SSS 无法分割一些前景部分 , 因为其分段式结构导致模型无法显式地分辨前景 / 背景和过渡区域 。 语义分割和抠图细节是很难平衡的 , 分别需要全局语义特征和局部结构特征 。 HAtt 和 SHMC 无法获得过渡区域的清晰细节 , 因为全局指引有助于识别语义区域 , 但对细节抠图的用户就没那么大了 。
相比而言 , GFM 获得了最优结果 , 这得益于其统一模型 , 使用单独的解码器处理前景 / 背景和过渡区域 , 并以协作的方式进行优化 。
模型集成和混合分辨率测试
如下表 3 所示 , 模型集成的结果优于单个模型:

澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
控制变量研究
控制变量研究结果如下表 4 所示:
澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
模型复杂度分析
如下表 5 所示 , 使用 DenseNet-121 或 ResNet34 作为主干网络的 GFM 在运行速度上超过 SHM、LF、Hatt 和 SHMC , 它们处理一张图像分别只需大约 0.2085s 和 0.1734s 。
澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明
本文插图
论文地址:https://arxiv.org/pdf/2010.16188v1.pdf
GitHub 地址:https://github.com/JizhiziLi/animal-matting
作者还给出了论文解读视频 , 包含 demo , 请戳:
Amazon SageMaker 1000元大礼包
ML训练成本降90% , 被全球上万家公司使用 , Amazon SageMaker是全托管机器学习平台 , 支持绝大多数机器学习框架与算法 , 并且用 IDE 写代码、可视化、Debug一气呵成 。
现在 , 我们准备了1000元的免费额度 , 开发者可以亲自上手体验 , 让开发高质量模型变得更加轻松 。
_本文原题:《人像抠图已经满足不了研究者了 , 这个研究专门给动物抠图 , 毛发根根分明》