通过视频着色进行自监督跟踪( 四 )


通过视频着色进行自监督跟踪文章插图
推理跟踪预测的例子[来源:]
在学习了着色的任务后 , 我们有了一个模型 , 可以计算一对目标框架和参考框架的相似矩阵a?? 。 对于跟踪的实际任务 , 我们利用了标签空间中模型是非参数的这一特性 。 我们简单地重复使用等式1来传播 , 但不是传播颜色 , 而是传播类别的分布 。 对于第一帧 , 我们有真实框掩码 , 我们将所有实例掩码布置为一独热矢量c?(这类似于训练期间使用的量化颜色的一独热矢量) 。 将c?与我们的相似性矩阵A相结合 , 以找到掩码的新位置 , 但请记住 , 随后几帧中的c?预测将变得很柔和 , 表明模型的置信度 。 为了做出艰难的决定 , 我们可以简单地选择最自信的那一类 。 推理算法为:
失效模式失效模式让我们来讨论一下 , 当模型在某些场景中趋于失败时 , 这主要是着色失败的情况 , 这意味着着色与跟踪有很高的相关性 。
【通过视频着色进行自监督跟踪】在以下情况下会发现一些故障:

  • 当光线在视频中剧烈或频繁变化时
  • 该方法成功地跟踪了轻微到中等遮挡情况下的目标 , 但当物体受到严重遮挡时无法进行对目标的跟踪
  • 物体尺寸大小突然发生变化