数机|【泡泡图灵智库】利用双目相机数机数据进行实时动态障碍物检测和跟踪双目|动态|跟踪|图灵|实时|障碍

泡泡图灵智库，带你精读机器人顶级会议文章
标题：
Leveraging Stereo-Camera Data for Real-Time Dynamic Obstacle Detection and Tracking
作者：
Thomas Eppenberger, Gianluca Cesari, Marcin Dymczyk, Roland Siegwart, and Renaud Dubé
机构：ETH Zurich (苏黎世联邦理工学院)
来源：IROS 2020
编译：姚瀚晨
审核：wyc
这是泡泡图灵智库推送的第548篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权
摘要
大家好，今天为大家带来的文章是——
Leveraging Stereo-Camera Data for Real-Time Dynamic Obstacle Detection and Tracking。
动态避障是在拥挤环境中进行顺应性导航的重要组成部分。在本文中，我们提出了一种使用双目摄像机生成的噪声点云数据来准确，可靠地检测和跟踪动态对象的系统。我们的解决方案具有实时能力，并且专为在计算受限的无人地面车辆上部署而设计。提议的方法可以识别机器人周围环境中的单个对象，并将其分类为静态或动态。动态对象被标记为人或通用动态对象。然后，我们估计它们的速度，以生成适合执行避障的2D占用网格(2D occupancy grid)。我们在室内和室外情况下评估该系统，并在消费级计算机上实现实时性能。在我们的测试数据集上，对于动态对象的检测和跟踪，MOTP为0.07±0.07m，MOTA为85.3％。我们对静态物体的检测精度达到96.9％。
我的学习和理解是：
一句话来说：双目相机来做视觉SLAM，实现了导航和避障；
有特色的地方在于：将机器人周围环境区分为了静态和动态，动态中做了标记和网格处理；生成了一种2D占用网格——可以理解为像《我的世界》中的像素格子，2D占用网格是机器人需要避障的地方。
背景与贡献
我们作出以下贡献：
1）一种新颖的实时算法，用于基于有噪声的双目相机数据检测和跟踪通用动态对象；
2）一种将上述算法与基于视觉的人员检测器相结合的方法，以提高在短暂遮挡下，检测和跟踪性能以及处理能力；
3）在具有挑战性的数据集上对我们的pipeline进行了评估，展示了其性能和可靠性，从而提高了移动机器人的安全性。

文章插图
图1 所提出的动态对象检测和跟踪方法的输出的可视化
左：指示检测的可信度和跟踪ID
右：生成的占用网格，其中正确识别了静态对象（红色像素）和检测到的行人（黄色点云）
1.整体框架
提出了一种利用双目相机数据来可靠、准确地检测和跟踪动态对象的解决方案。为此，我们首先提出一种新颖的算法，用于基于通用动态对象的运动来检测它们。为了增强在拥挤空间中的感知性能，我们使用视觉人物检测器将人类的运动独立地分类为一类特定的动态对象，如图1所示。我们的方法使用动态对象的估计速度来处理短时遮挡。据我们所知，这是第一个提出完整解决方案的工作，该解决方案使用双目摄像机通过结合全局最近邻搜索和可视人检测器(global nearest neighbor searches)来检测和跟踪通用动态对象。该系统仅依靠一台双目相机的有噪声的数据，并设计为在受计算约束的平台上运行。
2. 方法
图2 我们的pipeline概述：输入是双目图像，以及来自可视SLAM模块的机器人的估计姿势。输出是2D占用栅格，它可以规划靠近静态对象的路径，并确保以安全距离避开动态对象。
为了将图片看得更清楚，下面是局部放大的图2：

文章插图

文章插图
2.1 点云生成
第一个模块根据未失真和经过校正的立体图像生成3D点云。
1）块匹配(Block-Matching)：我们使用半全局块匹配，并在所得视差图上应用加权最小二乘滤波器；
2）深度双目(Deep Stereo)：最近，出现了学习从立体图像推断视差值的深度神经网络。我们使用MADNet，因为我们发现该网络可以在运行时和性能之间做出适当的折衷。图3示出了通过两种方法生成的示例性视差图。
图3 使用双目图像生成的深度表示。
左：块匹配不能在右侧的低纹理对象的部分或地板的发亮表面上生成深度信息；
中：MADNet捕获对象和地板的大部分。与块匹配相比，它提供了更完整的深度信息；
右：原始图像。
2.2 点云过滤
对前一个模块生成的点云进行过滤，以减少噪声并对数据进行下采样以实现实时性能。我们将初始裁剪后的点云表示为hd，将滤波后的点云表示为hs。