通过视频着色进行自监督跟踪( 四 )
文章插图
推理跟踪预测的例子[来源:]
在学习了着色的任务后 , 我们有了一个模型 , 可以计算一对目标框架和参考框架的相似矩阵a?? 。 对于跟踪的实际任务 , 我们利用了标签空间中模型是非参数的这一特性 。 我们简单地重复使用等式1来传播 , 但不是传播颜色 , 而是传播类别的分布 。 对于第一帧 , 我们有真实框掩码 , 我们将所有实例掩码布置为一独热矢量c?(这类似于训练期间使用的量化颜色的一独热矢量) 。 将c?与我们的相似性矩阵A相结合 , 以找到掩码的新位置 , 但请记住 , 随后几帧中的c?预测将变得很柔和 , 表明模型的置信度 。 为了做出艰难的决定 , 我们可以简单地选择最自信的那一类 。 推理算法为:
失效模式
失效模式让我们来讨论一下 , 当模型在某些场景中趋于失败时 , 这主要是着色失败的情况 , 这意味着着色与跟踪有很高的相关性 。
【通过视频着色进行自监督跟踪】在以下情况下会发现一些故障:
- 当光线在视频中剧烈或频繁变化时
- 该方法成功地跟踪了轻微到中等遮挡情况下的目标 , 但当物体受到严重遮挡时无法进行对目标的跟踪
- 物体尺寸大小突然发生变化
- Dubai视频通话
- 对微前端的11个错误认识
- 看了PS5的拆机视频,下世代主机最重要的配件可能是空调
- 国务院通过最新规划,新能源汽车新风口定了
- 全球首个交互式全息视频显示器问世 有望嵌入智能手机
- MakerBot宣布通过尼龙12碳纤维扩大其材料供应范围
- 今天才知道,原来手机就能给视频添加字幕,手把手教会你
- 今天才发现,原来用微信拍视频还能添加字幕,既简单又好玩
- 高通骁龙888登场,雷军录祝贺视频并抢下全球首发,华为不能用
- BBC:为了应对气候变化,看视频时不要选“高清模式”