科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了( 二 )


AM-2k数据集包含20个类别的2000张高分辨率自然动物图像 , 并且具备手动标注的前景蒙版 。 研究者将该数据集分割为训练集和验证集 , 并设置了两个评估track:ORI-Track(OriginalImagesBasedTrack)和COMP-Track(CompositeImagesBasedTrack) 。
下表展示了AM-2k数据集与现有抠图数据集的对比情况:
科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了
文章图片
该数据集中的示例参见下图:
科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了
文章图片
实验
定量和主观评估
下表2展示了多种SOTA方法在AM-2kORI-Track上的结果:
科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了
文章图片
与SOTA方法相比 , GFM在所有评估指标上均超过它们 , 通过同时分割前景和背景图像以及在过渡区域抠图 , 取得了最优性能 。
下图6展示了不同方法在AM-2kORI-Track上的定性对比结果:
科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了
文章图片
【科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了】从图中可以看出 , SHM、LF和SSS无法分割一些前景部分 , 因为其分段式结构导致模型无法显式地分辨前景/背景和过渡区域 。 语义分割和抠图细节是很难平衡的 , 分别需要全局语义特征和局部结构特征 。 HAtt和SHMC无法获得过渡区域的清晰细节 , 因为全局指引有助于识别语义区域 , 但对细节抠图的用户就没那么大了 。
相比而言 , GFM获得了最优结果 , 这得益于其统一模型 , 使用单独的解码器处理前景/背景和过渡区域 , 并以协作的方式进行优化 。
模型集成和混合分辨率测试
如下表3所示 , 模型集成的结果优于单个模型:
科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了
文章图片
控制变量研究
控制变量研究结果如下表4所示:
科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了
文章图片
模型复杂度分析
如下表5所示 , 使用DenseNet-121或ResNet34作为主干网络的GFM在运行速度上超过SHM、LF、Hatt和SHMC , 它们处理一张图像分别只需大约0.2085s和0.1734s 。
科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了
文章图片
论文地址:https://arxiv.org/pdf/2010.16188v1.pdfGitHub地址:https://github.com/JizhiziLi/animal-matting