算法@CVPR 2020 | 服装局部抄袭怎么解决？阿里推出区域检索算法( 二 ) |服装|服装设计|设计|

本文插图
图 3：方法框架图，网络可分为服装关键点估计分支和服装检索分支，其中检索网络包含同款服装检索和盗版服装检索两种输出形式
通过对平台侵权服装样本的分析，作者发现不同类别服装易被盗版的区域是不一样的，因此只将服装图像特征的相似度度量过程解耦是不够的，还需要为每类服装的多个区域设定差异化的权值，进行加权的区域相似性计算，以召回更多的盗版服装样本。
为此，阿里安全研究者基于平台盗版服装数据，建立了一个名为「Fashion Plagiarism Dataset」的数据集，该数据集中，每组「原版服装」的 query 图像对应 gallery 中多个「盗版服装」图像，数据覆盖短袖 T 恤、长袖上衣、外套、连衣裙四类样本。作者在该数据集上，对在 Deepfashion2 数据集上预训练过的检索网络进行 Fine Tune 训练，用 Coordinate Ascent 算法对不同服装类别的各区域权值进行迭代优化，以降低损失函数数值。「盗版服装」检索训练过程的损失函数，同样基于 Triplet 损失函数设计。最终，训练后的盗版检索网络可以基于上图中的 Input 服装图像召回 Output 中绿框内的盗版服装样本。
在论文的实验部分，阿里安全研究者首先在「Fashion Plagiarism Dataset」上对算法的「盗版服装图像」检索能力进行了评估。除了论文所提出的方法外，作者还设定了两种方法进行对比。一种是传统检索方法，使用相同的 backbone 网络和 Triplet 的损失函数，但是不包含区域化特征学习和表达机制；另一种是包含区域化特征表达机制，但是使用非 Fine Tune 训练得到的区域权重。评价指标为 mAP, 从表中结果可以看出，论文所用方法在各个服装类别都取得了最佳效果。

本文插图
表 1：各方法在「Fashion Plagiarism Dataset」上盗版服装检索性能比较。
除上述「盗版服装检索」的评价实验外，作者还在 Deepfashion 系列数据集上进行了服装关键点估计，和同款服装图像检索任务的实验。在服装关键点估计部分，作者在目前复杂度最高的 Deepfashion2 数据集上进行了评测，与现有 Match-RCNN, CPN, Simple-Baseline 等方法相比，我们的服装关键点估计模型在各个子集上都取得了最高的 mAP 结果。

本文插图
表 2：各方法在 Deepfashion2 数据集上的服装关键点估计性能比较。
在同款服装检索实验中，作者选用了 FashionNet, Match-RCNN, PCB 等方法作为对比，在 Deepfashion 和 Deepfashion2 上分别进行了实验。其中， Deepfashion 主要针对 In-shop 检索场景， Deepfashion2 则针对于 Consumer-to-shop 场景。评价指标分别为 Top-N recall 和 Top-N accuracy 。我们的方法在 Deepfashion 数据集上取得了与 SOTA 方法相近的效果，在 Deepfashion2 数据集上的结果要明显优于现有 baseline 方法。

本文插图
图 4：各方法在 Deepfashion 系列数据集上同款服装检索能力对比
综上所述，该论文在现有服装检索任务基础上，提出了一个新的「盗版服装检索」研究任务，建立了针对该任务的数据集，并给出了系统性的解决方案，有效提升了「盗版服装图像」的检索效果。同时，所提出模型在服装关键点估计和同款服装检索上的性能也处在领域内前列。该工作将会给阿里巴巴原创保护平台提供更强大的侵权检测能力。

算法@CVPR 2020 | 服装局部抄袭怎么解决？ 阿里推出区域检索算法( 二 )

算法@CVPR 2020 | 服装局部抄袭怎么解决？阿里推出区域检索算法( 二 )