激光雷达、相机…万字长文带你入门无人驾驶车硬件( 五 ) 机器之心转载作者：王方浩如何构建一辆

在天气良好的情况下，相机最远可以看到 1000m 左右的距离，比激光雷达能够更早的发现远处的交通状况。
相机是被动型感光设备，对光照的变化十分敏感，在有强光直射和阴影变化的时候拍摄质量会严重下降，在夜晚的时候相机的表现也不太好。另外相机在拍摄快速移动的物体的时候会出现运动模糊，拍摄的照片有重影或者模糊不清。通常在下雨天气，无人驾驶车会使用车内的相机做环境感知，暴露在车外的相机镜头会被雨水模糊。最新有报道利用激光做雨刷的新闻，对以后相机暴露在雨天工作可能有帮助。为了获取足够的视野无人驾驶车一般会配备多个相机。这就引入了一个问题，多个相机的拍摄时间可能不一致。那么如何保证多个相机的拍摄时间一致呢？相机有一个触发器（Trigger），用于触发相机拍照，通过控制信号同时触发多个相机的触发器来拍照，就可以保证所有照片都是同一时间拍摄的了。
3. 分类
按照使用到的相机个数，分为单目相机和双目相机。
单目相机。单目相机由 1 个相机组成，结构简单，成本低，但是无法测量准确的距离。
双目相机。双目相机由 2 个相机组成，由于 2 个相机之间的距离已知，可以估算出空间距离，但是标定和计算量比单目相机大。
按照相机的焦距，分为长焦相机和短焦相机。
长焦相机。长焦相机看的距离远，在拍摄远处的景象的时候更加清晰。在无人驾驶车中，长焦相机用来发现远处的交通状况和红绿灯识别。
短焦相机。短焦相机主要用来发现近处的物体，视野范围比长焦宽。障碍物识别、车道线检测和场景分割等多个任务都需要用到短焦相机，往往车上会集成多个短焦相机，覆盖整个车的视野范围。
按照类型划分，除了最常见的相机之外，还有事件相机、全景相机、深度相机和红外相机 4 种新型相机。
（1）事件相机（Event Camera）。事件相机中的每个像素独立响应亮度的变化，通过捕捉亮度变化成像，因此对运动物体捕捉效果非常好，并且不受曝光时间限制，成像速度非常快。普通相机在高速运动状态下会出现运动模糊，而事件相机则很好的解决了这个问题。目前事件相机的主要限制是像素大小和图像分辨率，例如 DAVIS240 型号的事件相机像素大小只有 18.5x18.5μm ，分辨率为 240x180 。如图 2.8 所示，分别是普通相机和事件相机拍摄到晚上有行人在汽车前奔跑的画面，可以看到普通相机出现了明显的曝光不足和运动模糊，而事件相机则很清晰。
文章插图
图 2.8 普通相机和事件相机效果对比
（2）全景相机（Omnidirectional Camera）全景相机有 360° 的采集视野，解决了单个相机视野范围不足的问题。全景相机通过 2 枚或者 4 枚鱼眼镜头进行拍摄，然后把拍摄好的照片拼接起来，组成全景照片。全景照片技术已经非常成熟，已经应用在 VR 看房等场景，对导航，定位和地图制图都很有帮助。如图 2.9 所示全景照片的边缘畸变非常严重，需要算法处理之后才能正常显示。
文章插图
图 2.9 全景照片示例
（3）深度相机(Range Camera) 。深度相机能够获取环境的深度和颜色信息，目前有 3 种深度测距方法：结构光测距、飞行时间法和双目视觉测距。深度相机能够探测的距离非常有限，因此主要还是应用在室内场景的三维重建，如图 2.10 所示。
图 2.10 深度相机效果图
（4）红外相机（Infrared Camera）。红外相机通过热成像原理对行人进行检测，目前在无人驾驶中还没有大规模应用。