机器之心@以点代物，同时执行目标检测和跟踪，这个新方法破解目标跟踪难题

选自arXiv
作者：Xingyi Zhou等
机器之心编译
参与：小舟、Jamin、魔王
近日，来自德克萨斯奥斯汀分校和英特尔研究院的研究人员提出一种基于点的同时检测和跟踪方法，该方法比当前最优技术更加简单、快速、准确。

本文插图
传统的跟踪是在时空中跟随兴趣点。随着强大深度网络的兴起，情况发生了变化。如今，跟踪的主流方式是先执行目标检测再进行时序关联，也叫做检测-跟踪法（tracking-by-detection）。
但是这种方法也有缺点，近日来自德克萨斯奥斯汀分校和英特尔研究院的研究人员提出一种同时检测与跟踪的方法，该方法比当前最优技术更加简单、快速、准确。
研究者将其跟踪器命名为 CenterTrack ，该方法对一对图像应用检测模型，并利用前一帧的检测结果。给定最小输入， CenterTrack 可以定位目标，并预测它们和前一帧的关联。 CenterTrack 就是这么简单、在线（不窥探未来）、实时。
从效果上来看， CenterTrack 在 MOT17 数据集上以 22 FPS 运行，达到了 67.3% 的 MOTA 值；在 KITTI 跟踪基准上以 15 FPS 运行，取得了 89.4% 的 MOTA 值，在这两个数据集上均取得了新的当前最优结果。
此外， CenterTrack 很容易扩展到单目 3D 跟踪，只需恢复额外的 3D 属性即可。以单目视频作为输入，以 28 FPS 运行， CenterTrack 在新发布的 nuScenes 3D 跟踪基准上实现了 28.3% AMOTA@0.2 ，显著超过单目基线方法。
论文链接：https://arxiv.org/pdf/2004.01177.pdf
项目链接：https://github.com/xingyizhou/CenterTrack
目标跟踪难在哪里？
在早期的计算机视觉领域中，跟踪通常被描述为在时空中跟随兴趣点。早期的跟踪器简单、迅速，且具备一定的稳健性。然而，如果没有角点（corner）和峰强度这样的强大低级线索，跟踪是很容易失败的。随着高性能目标检测模型的出现，一个强大的替代方案诞生了：检测-跟踪法（更准确地说是「基于检测的跟踪」）。这些模型依赖给定的准确识别率来识别目标对象，然后在另一个阶段中将它们按时间顺序关联起来。
基于检测的跟踪利用基于深度学习的目标检测器，是目前主流的目标跟踪范式。但是，性能最好的目标跟踪器也不是没有缺点的。很多跟踪器需要依靠低速复杂的关联策略，才能将检测框按时间串联起来。最近关于同时检测和跟踪的研究 [1,8] 在减轻这种复杂性上取得了一定的进展。
能否集众家之所长？
而最近来自德克萨斯奥斯汀分校和英特尔研究院的一项研究介绍了，如何将基于点的跟踪与同时检测和跟踪结合起来，从而进一步简化跟踪的复杂性。
该研究提出了一个基于点的联合检测与跟踪框架——CenterTrack 。每一个目标都用其边界框中心的一个点来表示，然后按时间顺序跟踪这个中心点（图 1）。

本文插图
图 1：研究者通过跟踪中心点来跟踪目标。学习两个连续帧之间目标中心点的二维偏移量，并基于中心点的距离将它们关联起来。
具体而言，该研究使用近期提出的 CenterNet 检测器来定位目标中心 [56] 。研究者把检测器和用点表示的先前踪片（tracklet）置于两个连续帧上。训练检测器，使其输出当前帧目标中心和前一帧目标中心的偏移向量。研究者将这个偏移向量视为中心点的属性，而这只需要一点额外的计算代价。仅基于前一帧检测到的中心点和预计偏移之间的距离来满足关联目标物体的需求，这是一种贪心匹配。该跟踪器以端到端形式进行训练且可微分。