港大提出OneNet: 一阶段端到端的目标检测网络( 二 ) ：港大提出OneNet:一阶段端到端

表1中的4个实验都是one-to-one的样本匹配策略。其中第一个实验的locationcost是指featuremap中point的位置到物体gtcenter的位置的距离(可以理解为CenterNet只有高斯极值点为1 ，其他都是0) 。
从表1可以看出， classificationcost是去掉NMS的关键。而回想绝大多数的样本匹配策略，如， boxIoU、pointdistance ，都是只考虑了locationcost 。第三个实验如此拉胯的原因可能是因为predictedbox是变化的，会导致正负样本来回横跳，训练低效。

文章图片
表1Effectoflabelassignment
图4给出了表1中的4个实验的可视化图，可以看到，没有classificationcost的模型会预测出冗余的高分检测框，需要NMS后处理来去除这些冗余框。而引入classificationcost的模型消除了冗余框。

文章图片

文章图片

文章图片

文章图片
图4表1中的4个对比实验的可视化图
表2给出了OneNet和CenterNet的比较。 OneNet在检测精度和推理速度都展现出comparable的性能。这证明OneNet有效去除了NMS ，成功实现了end-to-end 。

文章图片
表2OneNet和CenterNet的比较
四、讨论
一年前，在anchor-free和labelassignment的那波研究中，我们曾经考虑过one-to-one的样本匹配策略，表1第一行的实验也做过了，性能也是只有AP20+(加上NMS30+) 。当时我们总结的原因是：某一位置如果分类是1 ，那么这一位置的周围位置很难突变成0 。
最近DETR出现了，在样本匹配中同时考虑locationcost和classificationcost ，成功做出了end-to-endtwo-stage(multiple-stage) 。这给人启发end-to-endone-stage是不是也需要引入classificationcost 。表1第一行的实验简单地加上classificationcost(即表1第二行实验)竟然神奇地work了！甚至optimalbipartitematching也不需要，直接全图找最小cost的样本就行。可能optimalbipartitematching也可以做，但是在densedetector中太慢了。
我们也进一步验证了classificationcost是否对sparsedetectors的end-to-end也至关重要。从表3可以看出， classificationcost也是sparsedetectors实现end-to-end的关键。

文章图片
表3Effectoflabelassignmentonsparsedetectors
我们的工作提出了很多较为本质的问题：为什么引入classificationcost能够使得相邻的featuremappoints的分类发生突变？样本之间的交互(例如max-pooling,self-attention)对于e2e是否必须？这些问题都值得后续深入研究。
五、彩蛋
【港大提出OneNet: 一阶段端到端的目标检测网络】设计OneNet的初衷是推广end-to-enddetectors的工业应用。我们会在接下来的时间实现OneNet的部署代码，加入gitrepo中，欢迎大家届时关注和使用。