谷歌谷歌AI:推进实例级别识别 (ILR)研究 |实例|级别|

本文插图
字幕组双语原文：推进实例级别识别 (ILR)研究
英语原文：Advancing Instance-Level Recognition Research
翻译：雷锋字幕组（小哲）
本文由Cam Askew and André Araujo ， Software Engineers ，Google Research发布。
实例级识别（ILR）是识别一个物体的特定实例而不是简单识别出所属类别的计算机视觉任务。例如，我们不会把一张图像标注为“后印象派绘画” ，我们真正感兴趣的就是实例级别的标签，例如“文森特梵高的罗纳河上的星空”或者“法国巴黎的凯旋门”而不是简单的拱门。实例级识别的难题存在很多领域，例如地标，艺术品，商品，或者标志（logo），而且实例级识别在很多领域多有很多的应用，例如视觉搜索软件，个人相册识别，购物和其他更多的应用。在过去的几年中，谷歌在实例级识别的研究中做出了重大的贡献，例如Google 地标数据集和谷歌地标数据集V2和DELF与检测到检索的新模型。

本文插图
三种图像识别问题，这三种问题对于来自艺术品，地标和商品域有不同的标签粒度的层级（基本的，细粒度，实例级别）。我们主要聚焦于实例级的识别。
今天，我们强调在ECCV20的实例级识别研讨会上的一些结果。这个研讨会聚集了在这个领域的专家和爱好者，这学多新鲜有意思的讨论中，包含了我们的ECCV20的论文“DEep Local and Global features” (DELG) ，这是一个目前最先进的实例级识别图像特征模型，还包含了一个DELG支持的开源代码和其他的实例级识别技术。在这个研讨会上也提出了一个基于GLDV2的两个新的地标挑战赛（在识别与检索任务中）。未来ILR挑战赛也会扩展到其他的领域：艺术品识别，商品检索。这个研讨会的长期目标是去促进这个领域的进步，并且通过整合来自不同领域的研究团队来追求最先进的模型，在很多不同的领域中的任务到目前为止已经获得了很好的解决。
DELG: DEep Local and Global Features（深度局部与全局特征）
高效的图像表达是实例级图像识别的主要内容。通常局部与全局两种类型的表达是必要的。一个全局图像特征的总结会得到一个紧凑的表达，但是会丢失关于视觉元素空间组织的信息，这些信息往往是样本独特的个性化特征。另一方面，局部特征会包含关于特定图像区域的描述与几何信息。他们对于匹配图像中描绘相同的物体是非常有用的。
现在，大多数依赖于这两种类型的特征的系统都需要使用不同的模型单独的应用他们中的每一个，这就会导致大量的冗余计算与低效。为了解决这个问题，我们提出了DELG ，这是一种局部与全局特征统一的模型。
DELG模型应用了一个全卷积网络，这个全卷积网络包含两个头，一个处理全局特征，另一个处理局部特征。全局特征使用深度网络的局部池化特征图，高效的整合输入图像的显著特征，使得这个网络对于输入图像的改变更加鲁棒。在注意力机制的帮助下，局部特征分支使用交互特征层来检测图像的显著性区域，并且以一种可区分的方式产生xainggaun位置内容的描述符。

本文插图
我们提出的DELG模型（左），全局模型在基于检索的系统中的第一个stage中使用可以高效选择最相似的图像（底部），局部特征在重新排列的结果中使用（上边，右边），提升系统的准确性。
由于系统能够提取全局与局部的特征，新型的设计允许高效的推理。首先这样一个统一的模型可以进行端到端的训练并且在实例级识别中得到最先进的结果。当与之前的全局特征对比时，我们的方法超出之前的模型7.5%MAP ，并且对于局部特征的重排过程，基于DELG的方法可以超出之前7% 。总之， DELG在GLDV2上实现了61.2%的AP ，除了2019年挑战赛上的两种方法外，超出了所有的其他方法。所有的顶级的结果都使用了复杂的模型融合策略，我们只采用了单一模型。