多传感器融合（一）

多传感器融合（一）

一．概述

“传感器融合技术”号称自动驾驶中的核心技术。

传感器是汽车感知周围的环境的硬件基础，在实现自动驾驶的各个阶段都必不可少。

自动驾驶离不开感知层、控制层和执行层的相互配合。摄像头、雷达等传感器获取图像、距离、速度等信息，扮演眼睛、耳朵的角色。

控制模块分析处理信息，并进行判断、下达指令，扮演大脑的角色。车身各部件负责执行指令，扮演手脚的角色。而环境感知是这一切的基础，
因此传感器对于自动驾驶不可或缺。

二．多传感器融合的必要性

为什么一定要多传感器融合呢？主要是扬长避短、冗余设计，提高整车安全系数。多传感器融合系统所实现的功能要远超这些独立系统能够实现的功能总和。使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下，额外提供一定冗余度。这种错误或故障可能是由自然原因（诸如一团浓雾）或是人为现象（例如对摄像头或雷达的电子干扰或人为干扰）导致。各传感器优缺点如下：

·
相机：对目标的颜色和纹理比较敏感，可以完成目标分类、检测、分割、识别等任务，但是不能得到精确的探测距离，而且易受光照、天气条件的影响。

·
LiDAR：可以获得目标精确的3D信息，检测范围也能够到达150米。对光照不敏感，晚上也可以正常工作。但是角分辨率大，目标稀疏，无法获得目标纹理，分类不准，而且在雨、雾、雪等恶劣天气中，性能会下降。对扬尘、水雾也比较敏感，易产生噪点。

·
radar：可以提供精确的距离和速度信息，探测距离也比较远，可以全天候工作，但分辨率较低，无法提供物体高度信息。

相关传感器对比如下表：

三．多传感器融合的先决条件

众多的传感器装在同一辆车上，如nuscenes中使用了6个camera、1个lidar、5个radar，使用同一个系统来采集并处理数据，为了将他们规范，我们需要对这些传感器统一坐标系和时钟，目的就是为了实现三同一不同：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。

统一时钟

在这里要做的就是同步不同传感器的时间戳：

GPS时间戳的时间同步方法: 这个需要看传感的硬件是否支持该种方法，如果支持则传感器给出的数据包会有全局的时间戳，这些时间戳以GPS为基准，这样就使用了相同的时钟，而非各自传感器的时钟了。

但是还有一个问题，不同传感器的数据频率是不同的，如lidar